[논문 리뷰] A Call to Reflect on Evaluation Practices for Failure Detection in Image Classification

Paul F. Jaeger, Carsten T. Lüth외 2명|arXiv (Cornell University)|2022. 11. 28.

Adversarial Robustness in Machine Learning인용 수 18

한 줄 요약

이 논문은 이미지 분류에서 신뢰도 스코어 함수(CSFs)의 실패 탐지에 대한 통합 평가 프레임워크를 요청하며, 현재의 분류 실패 탐지, OoD 탐지 및 기타 하위 분야에서 별개로 평가되는 프로토콜이 일관성 없고 불완전한 벤치마킹을 초래한다는 점을 드러낸다. 저자들은 대규모 실증 연구를 통해 단순한 소프트맥스 반응이 복잡한 방법보다 뛰어나다는 것을 보여주며, 기존 평가 관행의 결함을 드러내고, 더 안전한 머신러닝 시스템 구현을 가능하게 하기 위해 통합적이고 표준화된 벤치마크 도입을 주장한다.

ABSTRACT

Reliable application of machine learning-based decision systems in the wild is one of the major challenges currently investigated by the field. A large portion of established approaches aims to detect erroneous predictions by means of assigning confidence scores. This confidence may be obtained by either quantifying the model's predictive uncertainty, learning explicit scoring functions, or assessing whether the input is in line with the training distribution. Curiously, while these approaches all state to address the same eventual goal of detecting failures of a classifier upon real-life application, they currently constitute largely separated research fields with individual evaluation protocols, which either exclude a substantial part of relevant methods or ignore large parts of relevant failure sources. In this work, we systematically reveal current pitfalls caused by these inconsistencies and derive requirements for a holistic and realistic evaluation of failure detection. To demonstrate the relevance of this unified perspective, we present a large-scale empirical study for the first time enabling benchmarking confidence scoring functions w.r.t all relevant methods and failure sources. The revelation of a simple softmax response baseline as the overall best performing method underlines the drastic shortcomings of current evaluation in the abundance of publicized research on confidence scoring. Code and trained models are at https://github.com/IML-DKFZ/fd-shifts.

연구 동기 및 목표

• 실패 탐지 하위 분야(예: MisD, OoD-D, SC, PUQ) 간 평가 프로토콜의 불일치를 특정하고 이를 해결함으로써 공정한 비교와 발전을 가능하게 하기.
• 현재 평가 관행이 관련된 방법들과 실패 원인들을 배제하고 있어, 보고된 결과의 실용성과 신뢰성에 영향을 미친다는 것을 입증하기.
• 모든 실질적인 실패 유형을 포함하는 통합적이고 종합적인 평가 프로토콜을 제안하여, 신뢰도 스코어 함수(CSFs)의 종합적 평가를 가능하게 하기.
• 대규모 연구를 통해 단순한 베이스라인(예: 소프트맥스 반응)이 가장 우수한 성능을 보임을 실증적으로 입증함으로써, 현재 연구 경향의 타당성을 도전하기.

제안 방법

• 이4개의 실패 탐지 하위 분야인 오분류 탐지(MisD), 분포 외 탐지(OoD-D), 선택적 분류(SC), 예측 불확실성 정량화(PUQ)의 기존 평가 프로토콜을 체계적으로 분석하고 비교하기.
• 모든 관련 실패 원인과 CSF 유형을 포함하는 단일이고 일관된 벤치마크로 분리된 프로토콜을 통합하는 종합적 평가 프레임워크 제안하기.
• CIFAR-10, CIFAR-100, SVHN 데이터셋에서 12개의 분포 이탈에 대해 15개의 CSF를 비교하는 대규모 실증 연구 수행하며, 표준화된 훈련 및 평가 프로토콜 사용하기.
• 소프트맥스 반응, 마할라노비스 스코어, 최대 로짓 스코어(MLS), ConfidNet 등을 포함한 CSF를 일관된 데이터 증강 및 모델 선택 전략을 사용해 구현하고 평가하기.
• 실패 탐지 성능 평가를 위해 AUROC_f를 주요 지표로 사용하며, 추가로 실패 평균 정밀도 및 AURC 분석을 통해 탄력성 확보하기.
• 모델 선택 전략(예: 마지막 에포크 vs. 최고 성능 에포크)과 하이퍼파라미터 선택에 대한 분석을 수행하여 공정하고 재현 가능한 비교 보장하기.

실험 결과

연구 질문

• RQ1 왜 현재 이미지 분류에서 실패 탐지에 대한 평가 프로토콜이 다양한 연구 하위 분야 간에 일관성 없고 불완전한 벤치마킹을 초래하는가?
• RQ2 기존 평가 프로토콜이 얼마나 관련된 신뢰도 스코어 함수(CSFs)와 실패 원인들을 배제하고 있으며, 이로 인해 실용성에 악영향을 미치는가?
• RQ3 다양한 분포 이탈과 실패 유형에서 단순한 베이스라인(예: 소프트맥스 반응)의 성능은 복잡한 최신 CSF들과 어떻게 비교되는가?
• RQ4 OoD-D 작업 정의에서 실패 탐지 목표에서 벗어나는 주요 단점은 무엇인가? 특히 실제 운영 환경에서의 오분류 탐지 목표와의 괴리가 성능 평가에 어떻게 악영향을 미치는가?
• RQ5 공정하고 종합적이며 현실적인 CSF 평가를 가능하게 하기 위해 통합적이고 종합적인 평가 프로토콜을 설계하고 검증할 수 있는가?

주요 결과

• 모든 테스트된 데이터셋과 분포 이탈에서 소프트맥스 반응 베이스라인이 다른 모든 신뢰도 스코어 함수보다 뛰어난 성능을 보이며, 가장 높은 AUROC_f 스코어 기록.
• 마할라노비스 스코어와 최대 로짓 스코어(MLS)는 강력한 성능를 보이지만, 여전히 단순한 소프트맥스 베이스라인에 뒤지지 않음.
• 에포크 선택 전략(예: 마지막 에포크 사용)은 검증 지표 기반 최고 성능 에포크 선택과 같은 더 복잡한 전략보다 일관되게 뛰어난 성능 기록.
• 원래 ConfidNet 설정은 작은 검증 세트로 인해 매우 변동성이 크며, 보다 단순한 모델 선택 전략이 안정성과 성능 향상에 기여함.
• 마할라노비스 스코어 평가 결과는 런 간에 높은 변동성을 보이며, 표준편차가 최대 7.86에 이르러 보고된 결과의 불안정성을 드러냄.
• OoD-D 작업 정의는 핵심 목표에서 벗어나 있으며, 분포 이탈 탐지에 집중함으로써 오분류 탐지 목표에서 벗어나, 잘못된 성능 평가를 유도함.