[논문 리뷰] Breaking Down Out-of-Distribution Detection: Many Methods Based on OOD Training Data Estimate a Combination of the Same Core Quantities

Julian Bitterwolf, Alexander Meinke외 2명|arXiv (Cornell University)|2022. 06. 20.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 Outlier Exposure, Energy-Based Models, 배경 클래스 학습과 같은 다양한 이상치 탐지(OOD) 방법들이 모두 동일한 핵심 베이지안 결정 기준을 암묵적으로 최적화한다는 것을 보여준다: 내분포(in-distribution)와 이상치(out-of-distribution) 데이터 간의 이진 분류. 서로 다른 수식화를 가짐에도 불구하고 동일하게 학습될 경우 이러한 방법들은 유사한 성능을 보이며, 이는 그들의 경험적 성공이 본질적으로 다른 원리가 아니라 동일한 기반 스코링 함수를 추정하기 때문임을 시사한다.

ABSTRACT

It is an important problem in trustworthy machine learning to recognize out-of-distribution (OOD) inputs which are inputs unrelated to the in-distribution task. Many out-of-distribution detection methods have been suggested in recent years. The goal of this paper is to recognize common objectives as well as to identify the implicit scoring functions of different OOD detection methods. We focus on the sub-class of methods that use surrogate OOD data during training in order to learn an OOD detection score that generalizes to new unseen out-distributions at test time. We show that binary discrimination between in- and (different) out-distributions is equivalent to several distinct formulations of the OOD detection problem. When trained in a shared fashion with a standard classifier, this binary discriminator reaches an OOD detection performance similar to that of Outlier Exposure. Moreover, we show that the confidence loss which is used by Outlier Exposure has an implicit scoring function which differs in a non-trivial fashion from the theoretically optimal scoring function in the case where training and test out-distribution are the same, which again is similar to the one used when training an Energy-Based OOD detector or when adding a background class. In practice, when trained in exactly the same way, all these methods perform similarly.

연구 동기 및 목표

• 훈련 중에 가짜 OOD 데이터를 사용하는 다양한 OOD 탐지 방법들 간의 공통된 이론적 기초를 규명하는 것.
• 신뢰도 손실(confidence loss), 에너지 기반 모델, 배경 클래스 학습을 포함한 주요 OOD 탐지 기법의 암묵적 스코링 함수를 분석하는 것.
• 내분포와 이상치 간의 공통된 이진 분류기(binary discriminator)가 최신 기술 수준의 OOD 탐지 성능을 달성할 수 있는지 평가하는 것.
• 밀도 추정 방법이 이론적으로 관련되어 있음에도 불구하고 왜 OOD 탐지에서 자주 실패하는지 명확히 하는 것.
• 추정 절차와 기반 스코링 함수를 분리함으로써 단일 모델에서 여러 OOD 탐지 방법을 시뮬레이션할 수 있도록 하는 것.

제안 방법

• 베이지안 결정 이론을 통한 OOD 탐지 이론적 분석으로, 이진 분류와 다양한 OOD 탐지 목표 간의 동치성을 보여주는 것.
• 신뢰도 손실(Outlier Exposure에서 사용), 에너지 기반 모델, 배경 클래스 학습의 암묵적 스코링 함수 유도.
• 내분포 데이터에서 표준 분류기와 함께 공통의 이진 분류기를 함께 훈련시켜 OOD 탐지 성능을 평가하는 것.
• 표준 벤치마크(CIFAR-10, CIFAR-100, SVHN, LSUN, ImageNet, OpenImages)를 사용해 다양한 방법 간의 OOD 탐지 성능을 경험적으로 비교하는 것.
• 다중 런과 다중 데이터셋에서의 정확도를 보장하기 위해 AUROC를 주요 평가 지표로 사용하는 것.
• 밀도 추정과 균일한 노이즈에 대한 분류 간의 동치성 분석으로, 표준 밀도 추정기의 OOD 탐지 성능이 떨어지는 이유를 설명하는 것.

실험 결과

연구 질문

• RQ1 훈련 중에 가짜 OOD 데이터를 사용하는 다양한 OOD 탐지 방법들이 본질적으로 다른 이론적 목표를 가지고 있는가?
• RQ2 Outlier Exposure에서 사용하는 신뢰도 손실이 최적화하는 암묵적 스코링 함수는 무엇인가?
• RQ3 내분포와 이상치 간에 공동으로 훈련된 이진 분류기의 성능은 최신 기술 수준의 OOD 탐지 방법과 어떻게 비교되는가?
• RQ4 밀도 추정이 이론적으로 분류 작업과 동치임에도 불구하고 왜 표준 밀도 추정 방법이 OOD 탐지에서 실패하는가?
• RQ5 추정 절차와 스코링 함수를 분리함으로써 단일 모델에서 여러 OOD 탐지 방법을 시뮬레이션할 수 있는가?

주요 결과

• Outlier Exposure에서 사용하는 신뢰도 손실은 이론적으로 최적의 이진 분류기보다 비최적의 스코링 함수를 암묵적으로 최적화한다. 특히 훈련 및 테스트 시 이상치 분포가 동일할 경우 더욱 뚜렷하다.
• 내분포와 이상치 간에 공동으로 훈련된 이진 분류기는 Outlier Exposure나 에너지 기반 모델과 같은 최신 기술 수준의 OOD 탐지 방법과 경쟁 가능한 성능을 달성한다.
• 모든 평가된 방법들—Outlier Exposure, 에너지 기반 모델, 배경 클래스 학습—은 동일하게 훈련될 경우 동일한 핵심 스코링 함수를 암묵적으로 추정한다. 이는 그들의 경험적 성능이 유사한 이유를 설명한다.
• 밀도 추정은 이론적으로 내분포와 균일한 노이즈 간의 분류와 동치이며, 이는 표준 밀도 추정기의 OOD 탐지 성능이 실질적으로 떨어지는 이유를 설명한다.
• 공통의 이진 분류기 기반 모델은 OpenImages를 가짜 OOD 데이터로 사용할 경우 CIFAR-10에서 AUROC 95.13, CIFAR-100에서 AUROC 99.55를 기록하며, 많은 전용 방법들을 능가한다.
• 다양한 방법 간의 성능 격차는 본질적인 스코링 함수의 차이가 아니라 추정 효율성의 차이에서 기인한다.