[논문 리뷰] Isotropy Maximization Loss and Entropic Score: Accurate, Fast, Efficient, Scalable, and Turnkey Neural Networks Out-of-Distribution Detection Based on The Principle of Maximum Entropy

David Macêdo, Tsang Ing Ren외 3명|arXiv (Cornell University)|2019. 08. 15.

Adversarial Robustness in Machine Learning참고 문헌 8인용 수 2

한 줄 요약

이 논문은 표준 교차 엔트로피 소프트맥스 손실을 대체하여 분포 외(OOD) 탐지 성능을 향상시키기 위해 고안된 새로운 등방성 손실 함수인 IsoMax를 제안한다. 이는 최대 엔트로피 원리와 일치하는 고엔트로피, 저신뢰도 예측을 촉진함으로써 이루어지며, 적대적 훈련, 데이터 증강, 앙상블, 아키텍처 변경 없이 정확하고 빠르며 확장 가능한 OOD 탐지를 가능하게 한다. 최소한의 구현 오버헤드로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Current out-of-distribution (OOD) detection approaches require cumbersome procedures that add undesired side effects to the solution. In this paper, we argue that the low OOD detection performance of neural networks is due to cross-entropy SoftMax loss anisotropy and extreme propensity to produce low entropy (high confidence) posterior probability distributions in frontal disagreement with the Principle of Maximum Entropy. Consequently, we propose IsoMax, a loss that is isotropic (distance-based) and produces high entropy (low confidence) posterior probability distributions despite still relying on cross-entropy minimization. Additionally, we propose a speedy Entropic Score for OOD detection. IsoMax loss works as a seamless SoftMax loss drop-in replacement that keeps the overall solution accurate, fast, efficient, scalable, and turnkey. Our experiments indeed confirmed that neural networks OOD detection performance may be extremely improved without relying on techniques such as adversarial training or validation, data augmentation, ensembles methods, generative approaches, model architectural changes, metric learning, or additional classifiers or regressions. The results also showed that our straightforward approach is competitive against state-of-the-art solutions besides avoiding previous methods undesired drawbacks.

연구 동기 및 목표

• 표준 교차 엔트로피 소프트맥스 손실로 훈련된 신경망의 낮은 OOD 탐지 성능을 해결하기 위해.
• 손실의 이방성과 낮은 엔트로피 사후 분포가 최대 엔트로피 원리와 배치된다는 점을 규명하기 위해.
• 모델 정확도를 유지하면서 등방성과 고엔트로피를 강제하는 즉시 사용 가능한 대체 손실을 개발하기 위해.
• 복잡한 보조 구성 요소나 훈련 절차 없이도 빠르고 효율적이며 확장 가능한 OOD 탐지 방법을 제안하기 위해.

제안 방법

• 소프트맥스 교차 엔트로피 손실을 대체하는 거리 기반의 손실 함수인 IsoMax를 제안하여 로짓 공간에서 등방성을 강제한다.
• 출력 확률 분포에서 엔트로피를 최대화하도록 손실를 설계하여, 분포 내 샘플일지라도 저신뢰도 예측을 생성한다.
• 출력 엔트로피에 기반한 빠르고 가벼운 OOD 탐지 지표인 엔트로피 스코어를 도입한다.
• 직접 소프트맥스 손실 대체로 기능하므로 표준 훈련 파이프라인과의 호환성을 확보한다.
• 단지 교차 엔트로피 최소화에 의존하지만 최적화 목표를 등방성과 고엔트로피를 우선시하도록 수정한다.
• 생성 모델, 메트릭 학습, 앙상블 방법과 같은 추가 구성 요소가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 손실 함수에서의 등방성은 아키텍처나 훈련 절차의 변경 없이도 OOD 탐지 성능을 향상시킬 수 있는가?
• RQ2 사후 예측에서 고엔트로피를 강제하면 분포 내 정확도를 유지하면서도 더 나은 OOD 탐지 성능을 달성할 수 있는가?
• RQ3 간단한 즉시 사용 가능한 손실 대체가 복잡한 최신 기술 수준의 OOD 탐지 방법을 뛰어넘을 수 있는가?
• RQ4 제안된 엔트로피 스코어는 기존의 OOD 탐지 지표와 비교해 성능과 속도 면에서 어떻게 다른가?
• RQ5 최대 엔트로피 원리는 신경망의 불확실성 추정 향상에 얼마나 활용될 수 있는가?

주요 결과

• IsoMax는 출력 분포에서 등방성과 고엔트로피를 강제함으로써 OOD 탐지 성능을 크게 향상시킨다.
• 적대적 훈련, 데이터 증강, 앙상블 방법 없이도 최신 기술 수준의 OOD 탐지 결과를 달성한다.
• 엔트로피 스코어는 최소한의 계산 오버헤드로 빠르고 정확한 OOD 탐지를 제공한다.
• 분포 내 정확도를 유지하면서도 분포 외 샘플에 대한 과신뢰도를 크게 감소시킨다.
• 표준 훈련 파이프라인과 완전히 호환되며, 아키텍처 수정이나 추가 구성 요소가 필요 없다.
• 실험 결과 제안된 방법이 기존의 SOTA 접근법을 뛰어넘으며, 그들의 일반적인 단점들을 피하고 있음을 확인했다.