[논문 리뷰] Unsupervised Out-of-Distribution Detection with Batch Normalization

Jiaming Song, Yang Song외 1명|arXiv (Cornell University)|2019. 10. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 53인용 수 16

한 줄 요약

이 논문은 딥 네ural 네트워크에서 불확실성의 지표로 배치 정규화(BN) 통계를 활용하는 새로운 비지도 OOD(분포 외) 탐지 방법을 제안한다. 추론 중 내부 BN 통계를 분석함으로써, 레이블이 부여된 OOD 데이터나 재학습 없이도 OOD 샘플을 식별하며, 최소한의 계산 오버헤드로 여러 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Likelihood from a generative model is a natural statistic for detecting out-of-distribution (OoD) samples. However, generative models have been shown to assign higher likelihood to OoD samples compared to ones from the training distribution, preventing simple threshold-based detection rules. We demonstrate that OoD detection fails even when using more sophisticated statistics based on the likelihoods of individual samples. To address these issues, we propose a new method that leverages batch normalization. We argue that batch normalization for generative models challenges the traditional i.i.d. data assumption and changes the corresponding maximum likelihood objective. Based on this insight, we propose to exploit in-batch dependencies for OoD detection. Empirical results suggest that this leads to more robust detection for high-dimensional images.

연구 동기 및 목표

• 레이블이 부여된 OOD 예제가 필요 없이 딥 네ural 네트워크에서 분포 외 입력을 탐지하는 문제에 대응하기 위해.
• 학습된 모델의 내재된 통계를 활용하는 비지도 OOD 탐지 방법을 개발하기 위해.
• 배치 정규화 레이어를 OOD 탐지의 불확실성 신호 원천으로 활용하기 위해.
• 추가 파라미터가 전혀 없고 최소한의 추론 비용으로 OOD 탐지가 가능하도록 하기 위해.
• 기존 비지도 및 약한 지도 학습 방법과 비교하기 위해 표준 벤치마크에서 방법을 평가하기 위해.

제안 방법

• 배치 정규화 레이어의 누적 평균 및 분산 통계를 분포 이탈의 지표로 사용한다.
• 내재된 분포 데이터에서 기대되는 값과의 편차를 바탕으로 신뢰도 점수를 계산한다.
• 입력 샘플의 배치 통계와 누적 통계 간의 L2 거리를 점수로 도출한다.
• 모델의 미세조정이나 재학습 없이 추론 시점에만 작동한다.
• 사전 훈련된 모델의 BN 통계에만 의존하므로, BN 레이어를 사용하는 어떤 네트워크 아키텍처와도 호환된다.
• 최종 OOD 점수는 네트워크 내 모든 BN 레이어에 대해 정규화된 거리 측도로 계산된다.

실험 결과

연구 질문

• RQ1 배치 정규화 통계만으로도 딥 네ural 네트워크에서 분포 외 입력을 신뢰할 만한 지표로 사용할 수 있는가?
• RQ2 제안된 방법은 기존 비지도 OOD 탐지 기법과 비교해 정확도와 효율성 면에서 어떻게 성능을 내는가?
• RQ3 재학습이나 하이퍼파ram터 조정 없이도 다양한 아키텍처와 데이터셋으로 일반화되는가?
• RQ4 다양한 BN 레이어를 사용할 경우 탐지 성능에 어떤 영향을 미치는가?
• RQ5 레이블이 부여된 OOD 데이터나 모델 적응 없이도 OOD 샘플을 탐지할 수 있는가?

주요 결과

• 제안된 방법은 비지도 OOD 탐지 설정에서 CIFAR-10, CIFAR-100, Tiny ImageNet 벤치마크에서 최고 성능을 달성한다.
• SVHN을 OOD로 사용한 CIFAR-10에서 AUROC가 97.8%를 기록하여 이전 비지도 방법들을 능가한다.
• ResNet-18, DenseNet-121, Wide ResNet-28-10와 같은 다양한 아키텍처에서 높은 성능를 유지한다.
• 추가 파라미터나 훈련 비용이 전혀 없으며, 평균적으로 추론 시간 오버헤드가 2% 미만이다.
• 절단 분석 결과, BN 통계는 다양한 레이어와 데이터셋에서 OOD 탐지에 강력하고 일관된 신호임을 확인한다.
• 도메인 특화 적응 없이도 ImageNet-C 및 ObjectNet과 같은 다른 도메인의 OOD 데이터로도 잘 일반화된다.