[논문 리뷰] Uncertainty Sets for Image Classifiers using Conformal Prediction

Anastasios N. Angelopoulos, Stephen Bates외 2명|arXiv (Cornell University)|2020. 09. 29.

Anomaly Detection Techniques and Applications참고 문헌 35인용 수 31

한 줄 요약

논문은 Regularized Adaptive Prediction Sets (RAPS)을 소개하며, 어떤 이미지 분류기를 컨포멀-보정 기반 방법으로 예측 집합으로 전환하여 유한샘플 커버리지 보장을 제공하고, 순진한 또는 APS 접근법보다 더 작고 더 적응적인 불확실성 집합을 생성하여 ImageNet에서 다양한 CNN 백본으로 시연합니다.

ABSTRACT

Convolutional image classifiers can achieve high predictive accuracy, but quantifying their uncertainty remains an unresolved challenge, hindering their deployment in consequential settings. Existing uncertainty quantification techniques, such as Platt scaling, attempt to calibrate the network's probability estimates, but they do not have formal guarantees. We present an algorithm that modifies any classifier to output a predictive set containing the true label with a user-specified probability, such as 90%. The algorithm is simple and fast like Platt scaling, but provides a formal finite-sample coverage guarantee for every model and dataset. Our method modifies an existing conformal prediction algorithm to give more stable predictive sets by regularizing the small scores of unlikely classes after Platt scaling. In experiments on both Imagenet and Imagenet-V2 with ResNet-152 and other classifiers, our scheme outperforms existing approaches, achieving coverage with sets that are often factors of 5 to 10 smaller than a stand-alone Platt scaling baseline.

연구 동기 및 목표

• 이미지 분류에서 점 추정 이상으로 실행 가능한 불확실성 정량화의 필요성을 동기 부여한다.
• 유한샘플 커버리지 보장을 갖춘 예측 불확실성 집합을 생성하는 빠르고 모델-아그노스틱한 방법을 개발한다.
• 꼬리 확률을 안정화하여 더 작고 더 적응적인 집합을 얻는 기존 컨포멀 예측 방법을 개선한다.
• 대규모 데이터셋(ImageNet, ImageNet-V2)에서 여러 CNN 아키텍처에 걸쳐 실제 성능 향상을 시연한다.

제안 방법

• 미리 학습된 이미지 분류기가 클래스 확률을 생성하는 것에서 시작한다.
• 예측된 확률에 따라 클래스를 정렬하고, 가능성이 낮은 꼬리 클래스의 포함을 페널티하는 정규화 항을 도입한다.
• 보정 셋에서 1−α 커버리지를 보장하는 튜닝 매개변수 τ를 선택하는 컨포멀 보정 스킴을 정의한다(스플릿-컨포멀 예측).
• 랭크 기반 질량, 랜덤 임계값 설정, 그리고 k_reg 및 λ로 제어되는 정규화 페널티를 결합하는 정규화된 예측 집합 C*(x,u,τ)를 사용한다.
• 향후 테스트 포인트에 대해 유한샘플 커버리지를 보장하기 위해 홀드아웃 컨포멀 셋으로 τ를 보정한다(정리 1 및 보도 Propositions 1).
• RAPS가 고정 크기 상위-k 집합을 지배하고 1/(n+1)의 공차 하에서 커버리지를 제공함을 보인다(명제 2).
• ImageNet-Val과 ImageNet-V2에서 여러 아키텍처를 대상으로 평가하고, 순진한 방법과 APS를 기준으로 비교한다.

실험 결과

연구 질문

• RQ1 현대 CNN 분류기에 컨포멀 예측을 적용해 유한샘플 커버리지를 가진 보장된 예측 집합을 제공할 수 있는가?
• RQ2 컨포멀 예측 스킴에 정규화를 도입하면 커버리지를 손실 없이 더 작고 더 적응적인 불확실성 집합을 얻을 수 있는가?
• RQ3 RAPS는 커버리지, 집합 크기, 적응성 면에서 다양한 아키텍처 및 데이터셋에서 순진한 방법과 APS에 비해 어떤 차이가 있는가?
• RQ4 매개변수(k_reg, λ)의 조정이 결과 예측 집합의 적응성과 커버리지에 어떤 영향을 미치는가?
• RQ5 대상 분포에서 추출된 보정 셋을 사용할 때 분포 변화(imagenet vs. imagenet-V2) 하에서도 제안된 방법들이 보장을 유지하는가?

주요 결과

• RAPS는 1−α 커버리지를 보장하면서도 순진한 방법이나 APS 접근법보다 예측 집합이 훨씬 작다.
• ImageNet-Val의 아홉 모델에 걸쳐 RAPS가 평균 집합 크기를 크게 줄이면서도 커버리지에 근접한 성능을 유지하며, 크기와 안정성 측면에서 APS를 능가한다.
• Imagenet-V2에서도 학습 데이터와 평가 데이터 간의 분포 변화에도 비슷하게 작은 평균 집합 크기와 커버리지를 유지한다.
• RAPS의 집합은 쉬운 이미지에 대해서는 작고 어려운 이미지에 대해서는 커지는 등, 인스턴스 난이도에 맞춰 불확실성을 조정하는 적응적 특성을 보인다.
• k_reg 및 λ의 자동 조정은 적응성을 개선하고 커버리지를 유지하면서, RAPS가 크기-계층형 커버리지 균형에서 APS를 능가한다.
• 이론적 보장은 RAPS가 고정 크기 상위-k 예측 집합을 지배함과 커버리지가 유한샘플 보정항(1/(n+1))을 갖고 유지됨을 보여준다.