[논문 리뷰] Statistical Testing for Efficient Out of Distribution Detection in Deep Neural Networks.

Matan Haroush, Tzivel Frostig외 2명|arXiv (Cornell University)|2021. 02. 25.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 4

한 줄 요약

이 논문은 깊이 신경망에서 분포 외(OOD) 탐지에 대한 통계적 가설 검정 프레임워크를 제안한다. OOD 탐지는 통계적 검정으로 간주되어 잘못된 양성률(false positive rate)을 통제할 수 있도록 보장한다. 네트워크 활성화의 저차수 통계량을 활용함으로써 재학습 없이도 최신 기술 수준의 OOD 탐지 성능을 달성하면서도 계산 비용을 최소화한다.

ABSTRACT

Commonly, Deep Neural Networks (DNNs) generalize well on samples drawn from a distribution similar to that of the training set. However, DNNs' predictions are brittle and unreliable when the test samples are drawn from a dissimilar distribution. This presents a major concern for deployment in real-world applications, where such behavior may come at a great cost -- as in the case of autonomous vehicles or healthcare applications. This paper frames the Out Of Distribution (OOD) detection problem in DNN as a statistical hypothesis testing problem. Unlike previous OOD detection heuristics, our framework is guaranteed to maintain the false positive rate (detecting OOD as in-distribution) for test data. We build on this framework to suggest a novel OOD procedure based on low-order statistics. Our method achieves comparable or better than state-of-the-art results on well-accepted OOD benchmarks without retraining the network parameters -- and at a fraction of the computational cost.

연구 동기 및 목표

• 자율 주행차나 헬스케어와 같은 안전이 중요한 애플리케이션에서 깊이 신경망(DNN)의 분포 외(OOD) 데이터에 대한 예측이 신뢰할 수 없음을 해결하기 위해.
• 잘못된 양성률에 대한 통계적 보장을 갖추지 못한 히وري스틱 기반 OOD 탐지 방법의 한계를 극복하기 위해.
• 높은 OOD 탐지 성능을 달성하면서도 제어 가능한 잘못된 양성률을 유지하는 방법을 개발하기 위해.
• 재학습이 필요 없는 계산 비용이 낮은 OOD 탐지 절차를 설계하기 위해.

제안 방법

• 해결책은 OOD 탐지를 통계적 가설 검정으로 간주하며, 귀무가설은 입력이 내분포(in-distribution)에 속한다고 가정한다.
• 검정 통계량으로는 최종층 특성의 평균과 분산과 같은 저차수 통계량을 사용한다.
• 검정 통계량은 캘리브레이션 단계 동안 내분포 샘플의 경험적 분포로부터 유도된 임계값과 비교된다.
• 중앙극한정리(Central Limit Theorem)를 활용하여 귀무가설 하에서 검정 통계량의 표본 분포를 근사한다.
• 사전에 설정된 유의수준을 통해 잘못된 양성률을 통제하여 통계적 신뢰성을 확보한다.
• 모델의 미세조정 또는 재학습 없이, 사전 학습된 네트워크의 추론 시기 통계량에 의존한다.

실험 결과

연구 질문

• RQ1 OOD 탐지를 잘못된 양성률을 통제할 수 있도록 통계적 가설 검정으로 형식화할 수 있는가?
• RQ2 깊이 신경망 활성화의 저차수 통계량이 재학습 없이도 효과적이고 효율적인 OOD 탐지에 기여할 수 있는가?
• RQ3 제안된 방법은 성능과 계산 비용 측면에서 최신 기술 수준의 OOD 탐지 기법과 어떻게 비교되는가?
• RQ4 이 방법은 다양한 데이터 분포와 네트워크 아키텍처 간에 강건성을 유지하는가?

주요 결과

• 제안된 방법은 CIFAR-10 대 비슷한 SVHN 및 Tiny ImageNet와 같은 표준 벤치마크에서 최신 기술 수준의 방법과 비교해 유사하거나 더 뛰어난 OOD 탐지 성능을 달성한다.
• 모든 평가된 데이터셋과 네트워크 아키텍처에서 유의수준에 의해 제어되는 보장된 잘못된 양성률을 유지한다.
• 기존 방법들에 비해 계산 비용이 크게 낮으며, 사전 학습된 모델의 추론 시기 통계량만 필요로 한다.
• DNN의 재학습이나 미세조정이 필요 없어 원본 모델의 성능과 배포 효율성을 그대로 유지한다.