[논문 리뷰] Knowing what you know: valid confidence sets in multiclass and multilabel prediction.

Maxime Cauchois, Suyash Gupta외 1명|arXiv (Cornell University)|2020. 04. 21.

Machine Learning and Data Classification인용 수 9

한 줄 요약

이 논문은 다중분류 및 다중라벨 분류 문제에 대해 분포 가정 없이도 균형 잡힌 보장과 渐진적 최적 조건부 커버리지(conditional coverage)를 보장하는 콫포멀 예측 방법을 제안한다. 분위수 회귀의 통찰과 나무 구조를 가진 분류기들을 통합함으로써, 유효한 신뢰 구역을 보장하면서도 라벨 간 상호작용을 효율적으로 다루고 고차원 라벨 공간으로의 확장도 가능하게 한다.

ABSTRACT

We develop conformal prediction methods for constructing valid predictive confidence sets in multiclass and multilabel problems without assumptions on the data generating distribution. A challenge here is that typical conformal prediction methods---which give marginal validity (coverage) guarantees---provide uneven coverage, in that they address easy examples at the expense of essentially ignoring difficult examples. By leveraging ideas from quantile regression, we build methods that always guarantee correct coverage but additionally provide (asymptotically optimal) conditional coverage for both multiclass and multilabel prediction problems. To address the potential challenge of exponentially large confidence sets in multilabel prediction, we build tree-structured classifiers that efficiently account for interactions between labels. Our methods can be bolted on top of any classification model---neural network, random forest, boosted tree---to guarantee its validity. We also provide an empirical evaluation, simultaneously providing new validation methods, that suggests the more robust coverage of our confidence sets.

연구 동기 및 목표

• 다중분류 및 다중라벨 문제에서 쉬운 예측 예제가 어려운 예제보다 우선시되는, 콕포멀 예측에서의 불균형 커버리지 문제를 해결하기 위해.
• 다중분류 및 다중라벨 설정 모두에서 유효한 균형 커버리지와 점차적으로 최적화된 조건부 커버리지 달성을 보장하는 방법을 개발하기 위해.
• 다중라벨 예측에서 발생하는 라벨 조합의 지수적 증가 문제를 효과적으로 관리하기 위해, 라벨 간 상호작용을 모델링하는 나무 구조를 가진 분류기를 통해 신뢰 구역의 크기를 줄이기 위해.
• 기존 분류 모델(예: 신경망, 랜덤 포레스트, 부스팅 트리 등)을 수정하지 않고도 어떤 기반 학습기에도 적용 가능한 프레임워크를 만들기 위해.
• 제안된 신뢰 구역의 강건성과 신뢰성에 대한 새로운 검증 방법과 실증적 증거를 제공하기 위해.

제안 방법

• 예측 신뢰 구역의 캘리브레이션을 위해 분위수 회귀 원리를 활용하여, 예측의 난이도에 따라 적응하는 조건부 커버리지 보장을 확보한다.
• 균형 잡힌 유효성은 유지하면서도 어려운 예제와 쉬운 예제 간의 커버리지 일관성을 향상시키는 콕포멀 예측 프레임워크를 도입한다.
• 라벨 간 상호작용을 모델링하기 위해 나무 구조를 가진 분류기를 활용하여, 다중라벨 예측에서 발생하는 계산 및 조합적 부담을 줄인다.
• 모델에 종속되지 않는 방법을 설계하여, 딥 네트워크나 앙상블 모델을 포함한 어떤 사전 학습된 분류기에도 통합 가능하도록 한다.
• 다중라벨 설정에 맞게 조정된 비정상성 점수 함수를 사용하여 유효한 신뢰 구역을 효율적으로 구성한다.
• 데이터 생성 과정에 대한 최소한의 가정으로도 커버리지 유효성을 보장하는 캘리브레이션 절차를 적용한다.

실험 결과

연구 질문

• RQ1 콕포멀 예측 방법이 분포 가정 없이도 다중분류 및 다중라벨 분류에서 균형 잡힌 보장과 조건부 유효성을 동시에 달성할 수 있는가?
• RQ2 어떻게 하면 쉬운 예제가 어려운 예제보다 더 높은 보호를 받는 불균형 커버리지 문제를 방지할 수 있는가?
• RQ3 다중라벨 예측에서 발생하는 가능한 라벨 조합의 지수적 증가 문제를 유효성을 유지하면서 효율적으로 관리할 수 있는 방법은 무엇인가?
• RQ4 제안된 방법이 재학습 없이도 기존 모델(예: 신경망, 랜덤 포레스트 등)과 얼마나 잘 통합될 수 있는가?
• RQ5 표준 콕포멀 예측 대비 제안된 방법의 실증적 성능은 커버리지와 집합 크기 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 다중분류 및 다중라벨 문제 모두에서 유효한 균형 잡힌 커버리지와 점차적으로 최적화된 조건부 커버리지를 보장한다.
• 분위수 회귀에 영감을 받은 캘리브레이션을 통해, 난이도가 다른 예제들 간에 더 균형 잡힌 커버리지가 보장된다.
• 나무 구조를 가진 분류기를 통해 라벨 간 의존성을 모델링함으로써, 다중라벨 문제에서 신뢰 구역의 크기를 효과적으로 줄일 수 있었다.
• 모델에 종속되지 않아 어떤 분류 모델의 후처리 단계로도 일반적으로 적용 가능하며, 원래 모델의 예측 결과를 유지하면서도 유효성을 추가한다.
• 실증 평가 결과, 표준 방법이 실패하는 경우에도 특히 어려운 예제에서 강건한 커버리지를 유지함을 확인하였다.
• 논문에서 제안한 새로운 검증 방법은 다양한 설정에서 제안된 신뢰 구역의 신뢰성과 일관성을 뒷받침한다.