[논문 리뷰] Isotropic Maximization Loss and Entropic Score: Fast, Accurate, Scalable, Unexposed, Turnkey, and Native Neural Networks Out-of-Distribution Detection

David Macêdo, Tsang Ing Ren외 4명|arXiv (Cornell University)|2019. 08. 15.

Adversarial Robustness in Machine Learning인용 수 2

한 줄 요약

이 논문은 소프트맥스 손실의 이방성 문제로 인한 신경망 내 불확실성의 근본 원인을 규명하고 이를 해결함으로써 분포 외 탐지(out-of-distribution detection, ODD) 성능을 향상시키기 위해 IsoMax 손실과 엔트로픽 스코어를 제안한다. 소프트맥스 손실을 대체함으로써, 적대적 훈련, 이상치 노출(outlier exposure), 앙상블, 베이지안 방법 등과 같은 복잡한 기법 없이도 빠르고 정확하며 확장 가능하고 내재적인 ODD를 구현할 수 있으며, 최소한의 아키텍처 수정으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Current out-of-distribution detection (ODD) approaches require cumbersome procedures that add undesired side-effects to the solution. In this paper, we argue that the uncertainty in neural networks is mainly due to SoftMax loss anisotropy. Consequently, we propose an isotropic loss (IsoMax) and a decision score (Entropic Score) to significantly improve the ODD performance while keeping the overall solution fast, accurate, scalable, unexposed, turnkey, and native. Our experiments indeed showed that uncertainty is extremely reduced simply by replacing the SoftMax loss without relying on techniques such as adversarial training/validation, special-purpose data augmentation, outlier exposure, ensembles methods, Bayesian mechanisms, generative approaches, metric learning, or additional classifiers/regressions. The results also showed that our straightforward proposal overcomes ODIN, ACET, and is competitive against the Mahalanobis approach besides avoiding their undesired requirements and weaknesses. Since IsoMax loss works as a direct and transparent SoftMax loss drop-in replacement, these techniques may be used combined with our loss to increase the overall performance even more if their associated drawbacks are not a concern in a particular use case.

연구 동기 및 목표

• 논문에서 식별한 바와 같이, 신경망 내 불확실성의 근본 원인인 소프트맥스 손실의 이방성 문제를 해결함으로써 분포 외 탐지(out-of-distribution detection, ODD) 성능을 향상시키는 것.
• 적대적 훈련, 이상치 노출, 앙상블 등의 복잡한 부작용을 동반하는 기법들에 의존하지 않고도 ODD 성능을 향상시키는 해결책을 개발하는 것.
• 현존하는 딥러닝 파이프라인에 최소한의 아키텍처 변경으로 쉽게 통합될 수 있도록, 빠르고 확장 가능하며 내재적인 방법을 설계하는 것.
• ODIN 및 마할라노비스 기반 기법과 같은 최신 기술 수준의 방법들과 비교해도 경쟁력 있거나 슈퍼어리어한 ODD 성능을 달성하면서도, 그들의 요구 조건과 제약 조건을 피하는 것.

제안 방법

• 소프트맥스 손실의 직접적이고 투명한 대체로, 로짓의 출력 공간에서 이방성을 제거하고 등방성( isotropic ) 행동을 강제함으로써 설계된 IsoMax 손실을 제안한다.
• IsoMax 모델의 출력 확률에서 유도된 결론 스코어로, 내재분포(in-distribution)와 분포 외(out-of-distribution) 샘플을 구분하는 데 사용되는 엔트로픽 스코어를 도입한다.
• 결정 경계에서 균일성을 증진시키고 신뢰도 추정의 방향성 편향을 줄이기 위해, 로짓을 정규화하는 방식으로 IsoMax 손실을 제안한다.
• 기존 훈련 파이프라인에 손실이 쉽게 통합될 수 있도록 표준 교차 엔트로피 훈련을 IsoMax 손실과 함께 사용한다. 아키텍처의 대대적인 수정 없이도 가능하다.
• 예측 클래스 확률의 엔트로피를 기반으로 한 불확실성 스코어를 계산하기 위해 엔트로픽 스코어를 적용함으로써, 추가 모델이나 校정이 필요 없이 효과적인 ODD를 실현한다.
• IsoMax 손실을 통한 엔드 투 엔드 훈련과 엔트로픽 스코어를 통한 추론을 유지함으로써, 표준 딥러닝 프레임워크와 완전히 호환되는 방식을 유지한다.

실험 결과

연구 질문

• RQ1 소프트맥스 손실의 이방성을 줄임으로써, 추가적인 복잡성 없이도 분포 외 탐지 성능을 크게 향상시킬 수 있는가?
• RQ2 소프트맥스 손실의 즉각적인 대체로 기능하는 IsoMax가 최신 기술 수준의 ODD 성능을 달성하면서도 확장 가능하고 효율적인가?
• RQ3 추가 보조 모델이나 데이터가 필요 없이도, IsoMax 모델과 함께 사용될 때 엔트로픽 스코어가 분포 외 샘플을 효과적으로 탐지할 수 있는가?
• RQ4 ODIN, ACET 및 마할라노비스 기반 접근법과 비교해 볼 때, 제안된 방법은 정확도, 확장 가능성, 훈련 절차 측면에서 어떤가?
• RQ5 IsoMax와 엔트로픽 스코어가 다른 ODD 기법들과 조합될 경우, 일반적으로 동반되는 문제들(예: 분포 이동, 성능 저하 등)을 유발하지 않을 정도로 얼마나 잘 통합될 수 있는가?

주요 결과

• 소프트맥스 손실을 IsoMax 손실로 대체함으로써, 이방성을 제거함으로써 신경망 내 불확실성이 크게 감소하고, 추가 훈련이나 데이터 없이도 분포 외 탐지 성능이 향상된다.
• 이상치 노출이나 적대적 훈련이 필요 없음에도 불구하고, 표준 벤치마크에서 마할라노비스 기반 접근법과 경쟁 수준의 성능을 달성하고, ODIN 및 ACET를 초월한다.
• 엔트로픽 스코어는 모델의 출력 확률만을 사용하여 분포 외 샘플을 효과적으로 구분할 수 있으며, 추가 분류기나 회귀 모델이 필요 없이 정확한 탐지를 가능하게 한다.
• 이 솔루션은 완전히 확장 가능하며, 표준 딥러닝 파이프라인과 호환되며, 아키텍처 수정 없이도 소프트맥스의 직접적인 대체로 기능한다.
• 이 방법은 '즉시 사용 가능(turkey key)'하고 '내재적(native)'이라고 기술되며, 복잡한 설정이나 校정 절차 없이도 바로 생산 환경에 배포할 수 있다.
• 그들의 단순성과 직접적인 통합 덕분에, 기존 ODD 기법들이 흔히 겪는 부작용(예: 분포 이동, 분포 이동 하에서의 성능 저하 등)을 피한다.