[논문 리뷰] Addressing Failure Prediction by Learning Model Confidence

Charles Corbière, Nicolas Thome외 3명|arXiv (Cornell University)|2019. 10. 01.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 107

한 줄 요약

논문은 분류 및 세그먼테이션에서 실패 예측을 위한 신뢰도 기준으로 True Class Probability(TCP)를 도입하고, 다수 데이터세트에서 MCP 및 베이지안/앙상블 Baselines를 능가하는 학습된 신뢰도 예측기 ConfidNet을 제시한다.

ABSTRACT

Assessing reliably the confidence of a deep neural network and predicting its failures is of primary importance for the practical deployment of these models. In this paper, we propose a new target criterion for model confidence, corresponding to the True Class Probability (TCP). We show how using the TCP is more suited than relying on the classic Maximum Class Probability (MCP). We provide in addition theoretical guarantees for TCP in the context of failure prediction. Since the true class is by essence unknown at test time, we propose to learn TCP criterion on the training set, introducing a specific learning scheme adapted to this context. Extensive experiments are conducted for validating the relevance of the proposed approach. We study various network architectures, small and large scale datasets for image classification and semantic segmentation. We show that our approach consistently outperforms several strong methods, from MCP to Bayesian uncertainty, as well as recent approaches specifically designed for failure prediction.

연구 동기 및 목표

• 실용적 응용에서 깊은 네트워크의 신뢰할 수 있는 실패 예측 동기를 제시합니다.
• 이론적으로 근거가 있는 신뢰도 기준으로 True Class Probability(TCP)를 제안합니다.
• 고정된 분류기 위에 구축된 ConfidNet를 통해 TCP 기반 신뢰도 점수를 학습합니다.
• 다양한 데이터셋과 아키텍처에서 TCP/ConfidNet가 MCP, MCDropout, Trust Score 대비 empirical gains를 보여줍니다.

제안 방법

• TCP를 입력과 모델 가중치가 주어진 실제 클래스의 확률로 정의하고, 올바른/잘못된 예측에 대한 이론적 보장을 도출합니다.
• ConfidNet을 도입합니다. 이는 고정된 분류기 위에 구축된 L2 손실을 사용하여 c*(x,y*) = P(Y=y*|w,x)로 회귀하는 신뢰도 네트워크입니다.
• 선택적으로 TCP^r = P(Y=y*|w,x)/P(Y=ŷ|w,x)와 같은 정상화된 변형을 사용하고 학습 다이나믹스를 비교합니다.
• 두 단계 학습 스킴을 채택합니다: 먼저 분류기를 고정한 채 ConfidNet를 학습시키고, 필요에 따라 신뢰도 추정을 위한 공유 인코더를 가지는 분리된 특징 추출기로 미세조정합니다.
• 다양한 아키텍처와 데이터셋(MNIST, SVHN, CIFAR-10/100, CamVid)을 이용하여 AUPR-Error, AUPR-Success, FPR@TPR95, AUROC로 평가합니다.

실험 결과

연구 질문

• RQ1 TCP가 깊은 분류기에서 MCP보다 실패 관련 신호를 더 신뢰성 있게 제공할 수 있는가?
• RQ2 TCP 기반 신뢰도 예측기(ConfidNet) 학습이 이미지 분류 및 의미론적 세그먼테이션 작업 전반에서 실패 탐지를 개선하는가?
• RQ3 TCP 및 정규화 변형 TCP^r가 MCP, 베이지안 방법, 거리 기반 점수(Trust Score)와 비교하여 실패의 순위 매김 및 보정에서 어떤 차이가 있는가?
• RQ4 학습 스킴 선택(ConvNet 인코더 학습 여부, 손실 유형, 데이터 할당)이 ConfidNet 성능에 어떤 영향을 주는가?
• RQ5 TCP 기반 방법이 다양한 작업에서 데이터 세트 크기 및 모델 복잡성에 대해 얼마나 강건한가?

주요 결과

• TCP 기반의 순위 매김은 MCP보다 올바른 예측과 잘못된 예측 간의 분리성을 향상시켜 실패 탐지를 개선합니다.
• ConfidNet은 MNIST, SVHN, CIFAR-10/100, CamVid에서 MCP, MCDropout, Trust Score를 AUPR-Error 및 관련 메트릭에서 일관되게 능가합니다.
• ConfidNet를 학습한 후 ConvNet 인코더를 미세조정하면 기본 ConfidNet 대비 추가 이득(약 1–2 포인트)이 발생합니다.
• 대부분의 데이터세트에서 학습 데이터를 이용한 ConfidNet 학습이 검증 데이터에서의 학습보다 일반적으로 우수하며, 데이터 특성과 관련된 예외가 있습니다.
• TCP(TCP^r가 아닌 경우 포함)로 학습하는 것이 BCE 대비 견고한 개선을 제공하며, 특히 더 큰 데이터세트에서 강건합니다. TCP^r은 일부 대규모 세그먼테이션 작업에서 이점을 제공합니다.
• ConfidNet는 높은 커버리지에서 더 바람직한 선택적 분류 동작(리스크-커버리지)을 제공하여 중요한 실패를 더 잘 식별합니다.