[논문 리뷰] Learning Optimal Conformal Classifiers

David Stutz, Krishnamurthy외 3명|arXiv (Cornell University)|2021. 10. 18.

Machine Learning and Data Classification참고 문헌 33인용 수 11

한 줄 요약

이 논문은 미니배치에서 校정과 예측을 시뮬레이션함으로써 모델 학습에 conformal prediction를 통합하는 differentiable, end-to-end 학습 절차인 Conformal Training (ConfTr)을 제안한다. ConfTr는 평균 신뢰집합 크기(비효율성)를 감소시키고, 경계 확률 보장 유지와 함께 클래스 조건부 비효율성 및 신뢰집합 구성에 대한 세밀한 제어를 가능하게 한다.

ABSTRACT

Modern deep learning based classifiers show very high accuracy on test data but this does not provide sufficient guarantees for safe deployment, especially in high-stake AI applications such as medical diagnosis. Usually, predictions are obtained without a reliable uncertainty estimate or a formal guarantee. Conformal prediction (CP) addresses these issues by using the classifier's predictions, e.g., its probability estimates, to predict confidence sets containing the true class with a user-specified probability. However, using CP as a separate processing step after training prevents the underlying model from adapting to the prediction of confidence sets. Thus, this paper explores strategies to differentiate through CP during training with the goal of training model with the conformal wrapper end-to-end. In our approach, conformal training (ConfTr), we specifically "simulate" conformalization on mini-batches during training. Compared to standard training, ConfTr reduces the average confidence set size (inefficiency) of state-of-the-art CP methods applied after training. Moreover, it allows to "shape" the confidence sets predicted at test time, which is difficult for standard CP. On experiments with several datasets, we show ConfTr can influence how inefficiency is distributed across classes, or guide the composition of confidence sets in terms of the included classes, while retaining the guarantees offered by CP.

연구 동기 및 목표

• 표준 학습에서 모델의 conformal prediction(CP)에 대한 적응 부족 문제를 해결하라. 여기서 모델은 정확도를 위해 학습되지만, CP는 사후에 적용되며 효율성 최적화를 위한 것이 아니다.
• 사후 CP의 한계를 극복하라. 이는 모델 학습 목표에 기반해 신뢰집합을 형상화하거나 비효율성을 감소시키지 못한다.
• 신뢰집합에 정의된 임의의 손실(예: 평균 크기 최소화 또는 특정 클래스 포함에 대한 페널티)에 대한 학습 시 최적화를 가능하게 하라.
• 백프로파게이션을 통해 conformal 래퍼를 통과할 수 있도록, CP 校정과 예측의 differentiable, smooth 근사 방법을 개발하라.
• 모델이 CP 하에서 더 작고 더 잘 분포된 신뢰집합을 생성하도록 학습할 수 있도록, 학습 절차를 제공하라. 이는 실용적인 불확실성 추정을 향상시킨다.

제안 방법

• 각 미니배치에서 校정과 예측의 반으로 나누어 conformal prediction를 시뮬레이션하는 Conformal Training (ConfTr) 방법을 도입하라.
• end-to-end 학습을 위해 임계값 기반의 적합도 점수 校정(SmoothCal)과 예측(SmoothPred) 단계에 대한 smooth, differentiable 근사를 사용하라.
• differentiable 손실 함수를 사용하여 예측된 신뢰집합에 대한 손실을 계산함으로써 conformal 래퍼를 학습 루프에 통합하라.
• 분류 손실(Lclass)과 크기 손실(Ω)을 조합한 복합 손실을 최적화하라. 여기서 Lclass는 잘못되거나 바람직하지 않은 클래스 포함에 대해 페널티를 주고, Ω는 평균 신뢰집합 크기를 최소화한다.
• 예측 단계에서 온도 기반 소프트플러스 스무딩을 적용하여, conformal prediction의 임계값 처리에 대한 기울기 흐름을 가능하게 하라.
• empirical 분포 기반 방법 등을 사용하여, differentiable 방식으로 校정 임계값 τ를 추정하는 differentiable 분위수 추정 방법을 사용하라.

실험 결과

연구 질문

• RQ1 딥 분류기의 학습 과정에 conformal prediction를 통합하여 신뢰집합의 비효율성을 감소시킬 수 있는가?
• RQ2 conformal prediction를 포함한 end-to-end 학습이 클래스 조건부 비효율성 및 신뢰집합 구성에 대해 더 나은 제어를 가능하게 하는가?
• RQ3 differentiable conformal prediction는 모델이 더 정보적인 신뢰집합을 생성하도록 학습할 수 있으며, 경계 확률 보장을 유지하는가?
• RQ4 ConfTr는 표준 학습 후 사후 CP와 비교해 평균 신뢰집합 크기와 클래스 간 확보 분포 측면에서 어떻게 성능을 내는가?
• RQ5 이 방법은 크기 최소화 외에도 임의의 목표를 신뢰집합에 최적화하기 위해 확장 가능한가?

주요 결과

• ConfTr는 표준 학습 후 사후 CP와 비교해 MNIST 및 Fashion-MNIST에서 평균 신뢰집합 크기(비효율성)를 크게 감소시킨다.
• MNIST 및 Fashion-MNIST에서 ConfTr는 모든 클래스에서 클래스 조건부 비효율성을 감소시키며, 비효율성 분포는 유사하지만 하향 이동된 형태를 띤다.
• ConfTr는 신뢰집합 구성에 대한 제어를 가능하게 한다. Lclass를 사용해 학습할 경우, 특히 분류가 어려운 클래스에서 확보 혼동을 감소시킨다.
• CIFAR-10에서 ConfTr는 평균 비효율성을 유의미하게 감소시키지 못하며, 이는 더 단순한 데이터셋에서 보다 잘 校정된 모델이기 때문에 이점이 더 두드러진다는 것을 시사한다.
• ConfTr는 보다 단순한 비효율성 최적화만을 수행하는 이전 연구(Bellotti, 2021)를 포함한다. ConfTr는 학습 과정에 校정 단계를 통합하고 더 넓은 최적화 목표를 가능하게 한다.
• 이 방법은 conformal prediction의 경계 확률 보장을 유지한다. 이는 진짜 레이블이 확률 1−α 이상으로 예측된 신뢰집합에 포함됨을 보장한다.