[논문 리뷰] DOCTOR: A Simple Method for Detecting Misclassification Errors

Federica Granese, Marco Romanelli외 3명|arXiv (Cornell University)|2021. 06. 04.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 10

한 줄 요약

Doctor는 소프트 레이블 확률을 활용하여 딥 네URAL 네트워크 예측에서 잘못된 분류 오류를 탐지하는 단순한 사후 처리 방법이다. 모델 재학습이나 아키텍처 변경 없이 부분적으로 블랙박스 환경에서 최신 기술 대비 최대 4%까지 거짓 기각률을 감소시켜 우수한 성능을 발휘한다.

ABSTRACT

Deep neural networks (DNNs) have shown to perform very well on large scale object recognition problems and lead to widespread use for real-world applications, including situations where DNN are implemented as "black boxes". A promising approach to secure their use is to accept decisions that are likely to be correct while discarding the others. In this work, we propose DOCTOR, a simple method that aims to identify whether the prediction of a DNN classifier should (or should not) be trusted so that, consequently, it would be possible to accept it or to reject it. Two scenarios are investigated: Totally Black Box (TBB) where only the soft-predictions are available and Partially Black Box (PBB) where gradient-propagation to perform input pre-processing is allowed. Empirically, we show that DOCTOR outperforms all state-of-the-art methods on various well-known images and sentiment analysis datasets. In particular, we observe a reduction of up to $4\%$ of the false rejection rate (FRR) in the PBB scenario. DOCTOR can be applied to any pre-trained model, it does not require prior information about the underlying dataset and is as simple as the simplest available methods in the literature.

연구 동기 및 목표

• 입력이 분포 내 또는 외에 속하는지 여부에 관계없이 DNN의 예측을 신뢰할 수 있는지 여부를 식별할 수 있는 신뢰할 수 있는 방법을 개발하는 것.
• 실제 블랙박스 환경에서 해석 가능성 제한이 있는 상황에서 DNN의 잘못된 예측에 대한 과도한 자신감 문제를 해결하는 것.
• 기울기, 가중치, 추가 학습 데이터에 대한 액세스 없이도 기존에 학습된 모델에 적용 가능한 방법을 제안하는 것.
• 거짓 기각과 거짓 수용의 양측을 최소화하여 안전 중심 응용 분야에서 DNN의 신뢰성을 향상시키는 것.
• 기존 방법보다 훨씬 간단하면서도 효과적인 솔루션을 제공하여 완전 블랙박스 및 부분 블랙박스 상황 모두에서 뛰어난 성능을 발휘하는 것.

제안 방법

• Doctor는 최대값이 아닌 전체 소프트 확률 분포를 활용하여 예측 신뢰도를 평가함으로써 올바른 예측과 잘못된 예측 간의 구분을 향상시킨다.
• 이 방법은 두 가지 탐지 시나리오를 도입한다: 완전 블랙박스(TBB)에서는 오직 모델 출력만 접근 가능하고, 부분 블랙박스(PBB)에서는 기울기 기반 전처리를 통해 입력 변형이 허용된다.
• 이론적 유형 I(거짓 기각)와 유형 II(거짓 수용) 오류 간의 상충 관계에 기반하여 소프트맥스 확률에 기반한 최적의 식별자 도출.
• PBB 환경에서 Doctor는 온도 스케일링과 작은 ε-편향을 사용한 입력 변형을 적용하며, ODIN와 유사하지만 전체 확률 벡터 기반의 새로운 결정 규칙을 사용한다.
• 핵심 탐지 메커니즘은 전체 소프트 레이블 분포를 사용해 신뢰도 점수를 계산함으로써, 최대 확률에만 의존하는 방법보다 더 세밀한 기각 결정을 가능하게 한다.
• 이 방법은 모델에 종속되지 않으며, 재학습이나 아키텍처 수정 없이도 어떤 사전 학습된 분류기에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 기울기나 가중치에 액세스할 필요 없이, 모델의 가중치나 기울기를 요구하지 않는 단순한 사후 처리 방법이 DNN에서 잘못된 분류 오류를 탐지할 수 있는가?
• RQ2 최대 확률에만 의존하는 방법과 비교해 전체 소프트 레이블 분포를 활용함으로써 탐지 성능가 향상되는 정도는 어느 정도인가?
• RQ3 Doctor는 최신 기술 대비 TBB 및 PBB 환경 모두에서 거짓 기각률(FRR)을 얼마나 줄일 수 있는가?
• RQ4 명시적인 최적화 없이도 Doctor가 OOD 탐지 작업에 일반화 가능한가?
• RQ5 기존 탐지기들이 어려움을 겪는, OOD 샘플이 분포 내 데이터와 유사한 경우 Doctor는 어떻게 성능을 발휘하는가?

주요 결과

• PBB 환경에서 Doctor는 최신 기술 대비 최대 4%까지 거짓 기각률(FRR)을 감소시켰다.
• TBB 환경에서는 경쟁력 있는 성능를 보였으며, 다양한 아키텍처에서 CIFAR-10 및 CIFAR-100의 AUROC 점수가 항상 95% 이상을 기록했다.
• LSUN(crop) 데이터셋에서 Doctor는 순수 OOD 탐지에서 기준선인 ODIN 대비 FRR를 3.3% 향상시켜 강력한 일반화 능력을 입증했다.
• OOD 샘플이 분포 내 데이터와 유사한 경우(CIFAR100 대비 CIFAR10), Doctor(PBB)는 AUROC 76.8% 및 FRR 64.2%를 기록했으며, ODIN(70.5% AUROC, 79.5% FRR)을 능가했다.
• 화이트박스 환경에서는 마할라노비스 기반 방법(MHLNB)이 열악한 성능(예: CIFAR10에서 AUROC 49.5%)을 보이며, Doctor의 접근 방식이 실용적 환경에서의 우수성을 입증했다.
• Doctor는 모델의 미세조정이나 추가 학습 없이도 추론 시 소프트 예측과 최소한의 입력 변형만을 기반으로 뛰어난 성능를 발휘한다.