[논문 리뷰] Evaluating and Boosting Uncertainty Quantification in Classification

Xiaoyang Huang, Jiancheng Yang외 4명|arXiv (Cornell University)|2019. 09. 13.

Anomaly Detection Techniques and Applications참고 문헌 14인용 수 6

한 줄 요약

이 논문은 분류 정확도에 영향을 받지 않는 임계값이 없는 강건한 평가 지표인 AUCCC를 제안한다. 이는 분류 분야에서 불확실성 정량화(UQ)를 평가하는 데 사용된다. 또한, 딥 앙상블 예측을 모방하도록 신뢰도 헤드를 훈련시키는 지식 정제 기반 방법인 불확실성 정제(UDist)를 도입하여, CIFAR-10 및 ChestX-ray14에서 기준 모델 대비 최대 0.7%의 AUCCC 향상을 지속적으로 달성한다.

ABSTRACT

Emergence of artificial intelligence techniques in biomedical applications urges the researchers to pay more attention on the uncertainty quantification (UQ) in machine-assisted medical decision making. For classification tasks, prior studies on UQ are difficult to compare with each other, due to the lack of a unified quantitative evaluation metric. Considering that well-performing UQ models ought to know when the classification models act incorrectly, we design a new evaluation metric, area under Confidence-Classification Characteristic curves (AUCCC), to quantitatively evaluate the performance of the UQ models. AUCCC is threshold-free, robust to perturbation, and insensitive to the classification performance. We evaluate several UQ methods (e.g., max softmax output) with AUCCC to validate its effectiveness. Furthermore, a simple scheme, named Uncertainty Distillation (UDist), is developed to boost the UQ performance, where a confidence model is distilling the confidence estimated by deep ensembles. The proposed method is easy to implement; it consistently outperforms strong baselines on natural and medical image datasets in our experiments.

연구 동기 및 목표

• 의료 AI에서 특히 중요한 분류 분야의 불확실성 정량화(UQ) 평가를 위한 통합적이고 정량적인 지표 부족 문제를 해결하기 위해.
• 분류 성능과 분리된 UQ 평가를 통해 다양한 방법 간의 공정한 비교를 가능하게 하기 위해.
• 신뢰도 추정을 향상시키기 위한 단순하고 확장 가능한 정제 프레임워크를 통해 UQ 성능을 향상시키기 위해.
• 자연 이미지 및 의료 영상 데이터셋(포함하여 분포 외 일반화 포함)에서 제안된 평가 지표와 방법의 유효성을 검증하기 위해.

제안 방법

• 정확한 예측과 오류 예측을 각각 양성 및 음성 클래스로 간주하는 분류 성능 기반 평가 프레임워크인 신뢰도-분류 특성(Confidence-Classification Characteristic, CCC) 분석을 제안한다.
• CCC 곡선 아래 면적인 AUCCC를 도입하여, 임계값이 없고 소규모 변동에 강건하며 분류 정확도에 민감하지 않은 지표로 활용한다.
• 딥 앙상블의 신뢰도 출력을 모방하도록 훈련하는 신뢰도 헤드를 갖춘 캐스케이드 모델인 불확실성 정제(UDist)를 개발한다.
• 온도 스케일링과 앙상블 평균을 사용하여 정제 훈련 중 불확실성 추정의 안정성을 확보한다.
• 표준 훈련 프로토콜을 사용하여 이미지 분류 및 다중 레이블 의료 영상(ChexNetX-ray14)에 모두 적용한다.
• 기준 지표로 교차 엔트로피와 브리어 스코어를 사용하지만, 이들이 소규모 신뢰도 변동에 민감하므로 AUCCC의 필요성을 정당화한다.

실험 결과

연구 질문

• RQ1 분류 정확도에 영향을 받지 않는 통합적이고 정량적인 지표를 개발하여 다양한 모델 간의 UQ 성능을 공정하게 평가할 수 있는가?
• RQ2 기존 딥 러닝 파이프라인과 호환되며 강건하고 확장 가능한 방식으로 불확실성 정량화를 향상시킬 수 있는가?
• RQ3 딥 앙상블에서 지식 정제를 통해 앙상블 자체보다 더 나은 불확실성 추정을 얻을 수 있는가?
• RQ4 제안된 방법은 의료 영상에서 내부 분포 보정 및 분포 외 일반화 성능에서 어떻게 작동하는가?

주요 결과

• NIH ChestX-ray14 데이터셋에서 UDist는 DenseNet 대비 0.7% 향상된 AUCCC를 기록했고, 딥 앙상블 대비 0.17% 향상되어 불확실성 정량화에서 일관된 성과를 보였다.
• CIFAR-10 대비 SVHN에서 UDist는 I/O AUROC 98.18%와 AUCCC 98.25%를 달성하여, 딥 앙상블 기준 97.76% 및 98.04%를 초월했다.
• ChestX-ray14 대비 OCT2017에서 UDist는 I/O AUROC 69.42%와 AUCCC 71.77%를 기록하여, 딥 앙상블 기준 68.09% 및 70.61%를 뛰어넘었다.
• AUCCC는 I/O AUROC를 일관되게 초월하여, 정확도와 신뢰도를 별도로 평가함으로써 내부 분포 보정을 더 잘 반영함을 시사한다.
• 기본 모델이 과도하게 자신감을 갖는 경우에도 방법이 효과를 유지하여, 불확실성 추정에서 과적합에 대한 강건성을 보였다.
• 캐스케이드 모델 구조는 효과적이지만, 다중 레이블 설정에서는 특징 융합 성능이 저하되는 경향이 있어, 향상된 입력 통합 기법이 필요함을 시사한다.