[논문 리뷰] Practical Evaluation of Out-of-Distribution Detection Methods for Image Classification

Engkarat Techapanurak, Takayuki Okatani|arXiv (Cornell University)|2021. 01. 07.

Anomaly Detection Techniques and Applications참고 문헌 38인용 수 4

한 줄 요약

이 논문은 다양한 데이터셋과 작업을 사용하여 세 가지 실용적 시나리오—부적절한 입력 탐지, 새로운 클래스 탐지, 도메인 이동 탐지—에서 분포 외(OOD) 탐지 방법을 평가한다. 연구 결과, 방법의 성능는 시나리오와 데이터 분포에 따라 크게 달라지며, 코사인 유사도 방법은 일관되게 효과적이며, 마할라노비스 탐지기는 부적절한 입력 탐지에만 국한되어 효과적이며, 신뢰도 기반 방법들인 MC 드롭아웃은 도메인 이동 탐지에서 뛰어난 성능을 보인다.

ABSTRACT

We reconsider the evaluation of OOD detection methods for image recognition. Although many studies have been conducted so far to build better OOD detection methods, most of them follow Hendrycks and Gimpel's work for the method of experimental evaluation. While the unified evaluation method is necessary for a fair comparison, there is a question of if its choice of tasks and datasets reflect real-world applications and if the evaluation results can generalize to other OOD detection application scenarios. In this paper, we experimentally evaluate the performance of representative OOD detection methods for three scenarios, i.e., irrelevant input detection, novel class detection, and domain shift detection, on various datasets and classification tasks. The results show that differences in scenarios and datasets alter the relative performance among the methods. Our results can also be used as a guide for practitioners for the selection of OOD detection methods.

연구 동기 및 목표

• 표준 Hendrycks & Gimpel 벤치마크를 초월하여 OOD 탐지 방법을 평가하는 데에 있어 실제 배포 시나리오를 반영하지 못하는 격차를 보완하기 위해.
• 부적절한 입력 탐지, 새로운 클래스 탐지, 도메인 이동 탐지와 같은 세 가지 별개의 실용적 응용 시나리오에서 대표적인 OOD 탐지 방법의 성능를 평가하기 위해.
• 도메인 이동 탐지에 OOD 탐지 방법을 적용하기 위한 메타-접근법을 제안하고 검증하기 위해, 이는 딥러닝 분야에서 이전에 다루지 않은 시나리오이다.
• 다양한 데이터 분포와 작업 설정에서 방법의 효과성에 대한 실증적 증거를 제공하여, 실제 시스템에서 모델 선택에 실질적인 지침을 제공하기 위해.

제안 방법

• 본 연구는 여섯 가지 OOD 탐지 방법—신뢰도 기반 베이스라인, MC 드롭아웃, ODIN, 코사인 유사도, 마할라노비스 탐지기—를 평가하며, 모든 방법이 훈련 시에 명시적인 OOD 샘플이 없이도 작동하도록 조정한다.
• 도메인 이동 탐지에 대해 저자들은 OOD 탐지 방법을 활용하여 분포 이동 상황에서 분류 정확도의 성능 저하를 탐지하는 메타-접근법을 적용한다.
• 성능 평가는 표준 OOD 탐지 지표인 AUROC 및 FPR95를 사용하여 여러 데이터셋과 분류 작업에서 수행된다.
• 마할라노비스 탐지기는 OOD 샘플이 초깃세팅 시에 필요하지 않은 변형을 사용하여, 다른 방법들과의 공정한 비교를 보장한다.
• 코사인 유사도 방법은 네트워크의 최종 레이어를 수정하여 특징 임베딩과 클래스 프로토타입 간의 유사도를 계산하도록 적용한다.
• 신뢰도 기반 및 MC 드롭아웃 방법은 사전 학습된 모델에 적용되며, 도메인 이동 탐지에 대해 불확실성 추정 기능을 활용한다.

실험 결과

연구 질문

• RQ1 부적절한 입력 탐지, 새로운 클래스 탐지, 도메인 이동 탐지와 같은 다양한 실생활 응용 시나리오에서 OOD 탐지 방법의 성능는 어떻게 되는가?
• RQ2 데이터셋과 분포 이동의 선택이 OOD 탐지 방법의 상대적 성능에 어느 정도의 영향을 미치는가?
• RQ3 기존의 OOD 탐지 방법들은 도메인 이동 탐지에 효과적으로 재사용될 수 있는가, 여기서 목표는 분포 이동이 아닌 성능 저하 탐지인가?
• RQ4 어느 OOD 탐지 방법이 다양한 시나리오와 데이터셋에서 가장 강건하고 일반화 능력이 뛰어난가?
• RQ5 왜 일부 방법들, 예를 들어 마할라노비스 탐지기는 일부 시나리오에서는 잘 작동하지만 다른 시나리오에서는 성능이 떨어지는가, 특히 새로운 클래스 탐지에서 그러한가?

주요 결과

• 코사인 유사도 방법은 모든 세 가지 시나리오에서 일관되게 뛰어난 성능을 보이며, 네트워크 수정이 가능한 경우 첫 번째 선택으로 신뢰할 수 있다.
• 마할라노비스 탐지기는 부적절한 입력 탐지에 최고 성능을 보이지만, 단일 공통 공분산 행렬과 정규분포 가정에 의존하기 때문에 새로운 클래스 탐지에서는 성능이 떨어진다.
• 신뢰도 기반 방법, 특히 MC 드롭아웃은 도메인 이동 탐지에서 뛰어난 성능을 보이며, 분포 이동 상황에서 예측 신뢰도 저하에 민감하기 때문이다.
• 도메인 이동 탐지는 기존의 OOD 탐지와 본질적으로 다르다—입력 분포의 이동이 아닌 정확도 저하 탐지가 목적이며, 이는 불확실성 인식 방법을 선호한다.
• OOD 탐지 방법의 성능는 시나리오에 매우 의존적이며, 어떤 한 방법도 모든 시나리오에서 우월하지 않음을 시사하며, 시나리오 기반의 방법 선택이 필요하다.
• 초깃세팅 시 OOD 샘플을 사용하면 테스트 시 OOD 데이터가 다른 분포에서 올 경우 일반화 능력이 떨어지므로, 이러한 데이터가 없이도 작동하는 방법의 필요성을 재확인한다.