[논문 리뷰] Enhanced Isotropy Maximization Loss: Seamless and High-Performance Out-of-Distribution Detection Simply Replacing the SoftMax Loss

David Macêdo, Teresa B. Ludermir|arXiv (Cornell University)|2021. 05. 29.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 논문은 훈련 중 표준 Softmax 손실을 대체하는 개선된 등방성 최대화 손실(IsoMax+)을 제안한다. 이는 초과 분포(OOD) 탐지에 대해 하이퍼파ram터 조정, 추가 데이터, 추론 속도 저하 없이 원활하고 고성능을 달성할 수 있도록 한다. 등방성 거리 최적화와 최소 거리 점수를 조합함으로써, 분류 정확도를 유지하면서도 최신 기술 수준의 OOD 탐지 성능을 달성하며, 효율적인 추론을 가능하게 한다.

ABSTRACT

Current out-of-distribution detection approaches usually present special requirements (e.g., collecting outlier data and hyperparameter validation) and produce side effects (e.g., classification accuracy drop and slow/inefficient inferences). Recently, entropic out-of-distribution detection has been proposed as a seamless approach (i.e., a solution that avoids all previously mentioned drawbacks). The entropic out-of-distribution detection solution uses the IsoMax loss for training and the entropic score for out-of-distribution detection. The IsoMax loss works as a drop-in replacement of the SoftMax loss (i.e., the combination of the output linear layer, the SoftMax activation, and the cross-entropy loss) because swapping the SoftMax loss with the IsoMax loss requires no changes in the model's architecture or training procedures/hyperparameters. In this paper, we perform what we call an isometrization of the distances used in the IsoMax loss. Additionally, we propose replacing the entropic score with the minimum distance score. Experiments showed that these modifications significantly increase out-of-distribution detection performance while keeping the solution seamless. Besides being competitive with or outperforming all major current approaches, the proposed solution avoids all their current limitations, in addition to being much easier to use because only a simple loss replacement for training the neural network is required. The code to replace the SoftMax loss with the IsoMax+ loss and reproduce the results is available at https://github.com/dlmacedo/entropic-out-of-distribution-detection.

연구 동기 및 목표

• 기존 OOD 탐지 방법의 한계를 해결하기 위해, 외부 데이터 의존성, 하이퍼파ram터 조정, 분류 정확도 저하 문제를 해결한다.
• 훈련 목표를 수정함으로써 OOD 탐지에서 입력 전처리 및 적대적 샘플 생성이 필요 없도록 한다.
• 등방성 최대화 손실을 향상시켜 등방성과 거리 측정법을 개선함으로써 OOD 탐지 성능을 향상시킨다.
• 빠르고 에너지 효율적인 추론을 가능하게 하면서도 높은 분류 정확도를 유지하는 솔루션을 개발한다.
• 후속 추론 기반 OOD 탐지 방법과 호환되는 새로운 훈련 기준을 설정하여 향후 성능 향상을 가능하게 한다.

제안 방법

• 기존 IsoMax 손실에서 사용하는 거리 측정법에 등방성 변환을 적용하여 특징 공간의 등방성과 일반화 능력을 향상시킨다.
• 계산 비용을 줄이고 탐지 성능를 향상시키기 위해 엔트로피 점수를 최소 거리 점수(MDS)로 대체한다.
• 신경망의 구조나 훈련 절차에 변화 없이, Softmax 교차엔트로피 손실의 직접적인 교체로 IsoMax+ 손실을 적용한다.
• 표준 훈련 동안 IsoMax+ 손실을 사용하여 신경망을 훈련시키며, 모든 표준 하이퍼파ram터와 최적화 절차를 그대로 유지한다.
• 추론 시점에 추가 프로세스나 온도 스케일링 없이, 최종 레이어 특징에서 계산된 최소 거리 점수를 사용해 OOD 탐지 수행한다.
• 기존 추론 기반 OOD 방법(예: ODIN, 마할라노비스, 에너지 기반)과 호환되도록 IsoMax+로 훈련함으로써, 후처리 방법을 통해 추가 성능 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 훈련 과정을 변경하지 않고도 상호 클래스 간 거리의 등방성 변환을 통해 등방성 최대화를 향상시킬 수 있는가? 이는 OOD 탐지 성능 향상에 기여하는가?
• RQ2 엔트로피 점수를 최소 거리 점수로 대체하면 계산 효율성을 유지하면서도 OOD 탐지 성능이 향상되는가?
• RQ3 이러한 방법은 외부 데이터, 하이퍼파ram터 조정, 입력 전처리 없이도 높은 OOD 탐지 성능를 달성할 수 있는가?
• RQ4 IsoMax+ 손실은 표준 Softmax 훈련과 비교해 분류 정확도를 유지하는가? 특히 후속 OOD 탐지 방법과 함께 사용하더라도 마찬가지인가?
• RQ5 IsoMax+ 손실은 향후 OOD 탐지 방법의 우수한 훈련 기준이 될 수 있는가? 특히 추론 기반 기법과 조합했을 때 성능 향상이 가능한가?

주요 결과

• 최소 거리 점수를 사용하는 제안된 IsoMax+ 손실은 다양한 벤치마크에서 최신 기술 수준의 OOD 탐지 성능를 달성하며, ODIN 및 마할라노비스 기반 방법을 능가한다.
• 입력 전처리나 온도 조정 없이도 ODIN 및 마할라노비스 접근법보다 높은 AUROC 성능를 기록한다.
• Softmax 손실 기준과 비교해 분류 정확도를 1% 이내로 유지하며, 다른 OOD 방법에서 흔히 발생하는 정확도 저하 문제를 방지한다.
• 추가 프로세스나 적대적 연산이 필요 없기 때문에 추론 속도는 빠르고 에너지 효율적이며, ODIN처럼 4배의 속도 저하가 발생하지 않는다.
• 완전히 원활한 솔루션으로, 단지 훈련 시 Softmax 손실을 IsoMax+로 교체하기만 하면 되며, 모델 구조나 하이퍼파ram터에 변화가 없다.
• 기존 추론 기반 OOD 방법(예: 마할라노비스 또는 에너지 기반 점수)과 호환되며, 후속 처리를 통해 추가 성능 향상이 가능하다.