[논문 리뷰] Hyperparameter-Free Out-of-Distribution Detection Using Softmax of Scaled Cosine Similarity

Engkarat Techapanurak, Suganuma, Masanori외 1명|arXiv (Cornell University)|2019. 05. 25.

Anomaly Detection Techniques and Applications참고 문헌 48인용 수 13

한 줄 요약

이 논문은 특성 임bedding와 클래스 프로토타입 간의 스케일링된 코사인 유사도의 소프트맥스를 사용하는 하이퍼파rameter가 없는 분포 외(OOD) 탐지 방법을 제안한다. 신경망의 최종 레이어를 코사인 유사도 기반 분류기로 대체함으로써, OOD 검증 데이터가 필요 없이도 상태최저 성능을 달성하며, 하이퍼파rameter의 안정성에 대한 도전적인 벤치마크에서 기존 방법들을 능가한다. 이는 단일 프로퍼그레이션을 통해 계산 효율성을 유지한다.

ABSTRACT

The ability to detect out-of-distribution (OOD) samples is vital to secure the reliability of deep neural networks in real-world applications. Considering the nature of OOD samples, detection methods should not have hyperparameters that need to be tuned depending on incoming OOD samples. However, most of the recently proposed methods do not meet this requirement, leading to compromised performance in real-world applications. In this paper, we propose a simple, hyperparameter-free method based on softmax of scaled cosine similarity. It resembles the approach employed by modern metric learning methods, but it differs in details; the differences are essential to achieve high detection performance. We show through experiments that our method outperforms the existing methods on the evaluation test recently proposed by Shafaei et al., which takes the above issue of hyperparameter dependency into account. We also show that it achieves at least comparable performance to other methods on the conventional test, where their hyperparameters are chosen using explicit OOD samples. Furthermore, it is computationally more efficient than most of the previous methods, since it needs only a single forward pass.

연구 동기 및 목표

• 기존 OOD 탐지 방법에서 OOD 검증 데이터에 맞춘 하이퍼파rameter 조정이 필요하다는 핵심적 한계를 해결하기 위해.
• 캘리브레이션 중 OOD 샘플에 접근할 수 없더라도 높은 OOD 탐지 성능을 유지할 수 있는 방법을 개발하기 위해.
• 입력의 변형과 같은 반복적 또는 역전파 기반 연산을 제거하여 계산 효율성을 향상시키기 위해.
• 코사인 유사도의 스케일링 및 정규화 방식의 기술적 차이가 높은 OOD 탐지 성능에 필수적임을 입증하고, 기존 표준 메트릭 러닝 접근과의 차이를 명확히 하기 위해.

제안 방법

• 딥 네트워크의 최종 완전히 연결된 레이어를, 최종 특성 표현과 학습 가능한 클래스 프로토타입 간의 유사도를 계산하는 코사인 유사도 기반 분류기로 대체한다.
• 유사도 점수에 대해 학습 가능한 온도 파rameter를 사용해 스케일링을 적용한 후, 소프트맥스 연산을 통해 클래스 확률을 산출한다.
• OOD 전용 손실나열이나 데이터 없이, 일반적인 교차 엔트로피 손실을 사용해 인라인 데이터만으로 네트워크를 훈련시킨다.
• 스케일링된 코사인 유사도 출력에서의 최대 소프트맥스 확률을 OOD 탐지의 신뢰도 점수로 사용한다.
• 추론 시 단일 프로퍼그레이션만을 요구하므로, 다중 프로퍼그레이션 또는 기울기 계산이 필요한 방법들에 비해 계산 효율성이 뛰어나다.
• 기존 표준 메트릭 러닝과 다름없는 특정 스케일링 메커니즘(온도 스케일링)과 정규화 전략을 도입하여 OOD 구분 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 OOD 탐지 방법이 OOD 데이터에 맞춘 하이퍼파rameter 조정 없이도 높은 성능을 달성할 수 있는가?
• RQ2 스케일링된 코사인 유사도 기반으로 제안된 방법이 기존 OOD 탐지 방법과 비교해 하이퍼파ram터 선택에 대한 강건성에서 어떻게 성능을 내는가?
• RQ3 스케일링된 코사인 유사도에 소프트맥스를 적용하는 것이 표준 로짓이나 비정규화된 코사인 유사도에 비해 OOD 탐지 성능을 향상시키는가?
• RQ4 실제 환경에서의 가정을 충족시키는 조건에서, 인라인 정확도는 유지하면서 OOD 탐지 성능을 크게 향상시킬 수 있는가?
• RQ5 Shafaei 등이 제안한 것처럼 하이퍼파ram터 민감도를 명시적으로 평가하는 벤치마크에서 이 방법은 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 하이퍼파라미터의 안정성에 대한 평가를 수행하는 Shafaei 등의 벤치마크에서 모든 기존 OOD 탐지 방법을 능가하며, AUC 점수에서 뚜렷한 격차를 확보한다.
• 기존의 OOD 탐지 벤치마크에서, 이 방법은 최신 기술 수준의 방법들과 비교해 최소한 동등한 성능을 보이며, 다양한 OOD 데이터셋을 사용한 CIFAR-10 및 CIFAR-100에서 AUC 점수가 항상 97% 이상을 기록한다.
• Wide ResNet-28-10를 사용하여, OOD 데이터로 크롭된 TinyImageNet을 사용할 경우, CIFAR-10에서 99.77%의 AUC를 달성하며, ODIN 및 마할라노비스 탐지기보다 뛰어난 성능을 보인다.
• LSUN 및 TinyImageNet 등의 OOD 데이터셋에서 검은 테두리가 존재하는 경우에도 성능 저하가 없이 안정성을 유지하며, 다른 방법들은 심각한 성능 저하를 보이는 것으로 나타나, 데이터셋의 잡음이나 아티팩트에 대해 강건함을 입증한다.
• 다른 방법들(예: ODIN, 떠난 앙상블)이 변형된 입력을 여러 번 프로퍼그레이션해야 하는 것과 달리, 이 방법은 단일 프로퍼그레이션만으로도 높은 효율성을 유지한다.
• 제거 실험 결과, 제안된 방법에서의 특정 스케일링 및 정규화 전략이 핵심임을 확인하였으며, 단순한 코사인 유사도나 비정규화된 형태는 성능이 현저히 열 劣하다.