[논문 리뷰] A statistical framework for efficient out of distribution detection in deep neural networks

Matan Haroush, Tzviel Frostig외 2명|arXiv (Cornell University)|2021. 02. 25.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 깊이 신경망에서 분포 외(OOD) 탐지에 대한 통계적 가설 검정 프레임워크를 제안하며, p-값을 사용해 제1종 오류 제어를 보장한다. 모든 네트워크 레이어에 걸쳐 비일관성 측정값을 집계하고 MaSF 탐지기 도입으로 기존 방법보다 35배 빠른 추론 속도를 달성하면서도 재학습이나 테스트 분포에 대한 사전 지식 없이도 최첨단 OOD 탐지 정확도를 확보한다.

ABSTRACT

Background. Commonly, Deep Neural Networks (DNNs) generalize well on samples drawn from a distribution similar to that of the training set. However, DNNs' predictions are brittle and unreliable when the test samples are drawn from a dissimilar distribution. This is a major concern for deployment in real-world applications, where such behavior may come at a considerable cost, such as industrial production lines, autonomous vehicles, or healthcare applications. Contributions. We frame Out Of Distribution (OOD) detection in DNNs as a statistical hypothesis testing problem. Tests generated within our proposed framework combine evidence from the entire network. Unlike previous OOD detection heuristics, this framework returns a $p$-value for each test sample. It is guaranteed to maintain the Type I Error (T1E - incorrectly predicting OOD for an actual in-distribution sample) for test data. Moreover, this allows to combine several detectors while maintaining the T1E. Building on this framework, we suggest a novel OOD procedure based on low-order statistics. Our method achieves comparable or better results than state-of-the-art methods on well-accepted OOD benchmarks, without retraining the network parameters or assuming prior knowledge on the test distribution -- and at a fraction of the computational cost.

연구 동기 및 목표

• 자율주행차 및 헬스케어와 같은 안전이 중요한 애플리케이션에서 깊이 신경망의 분포 외 입력에 대한 취약성을 해결하기 위해.
• 기존 OOD 탐지 방법의 한계, 즉 통계적 보장 부족, 높은 계산 비용, OOD 데이터에 대한 사전 지식 의존성 문제를 해결하기 위해.
• 각 테스트 샘플에 대해 유효한 p-값을 제공하여, 귀무가설인 내분포 데이터일 경우 제1종 오류 제어를 보장하기 위해.
• 저순서 통계를 활용하고 파rameter-free로 설계된 효율적인 OOD 탐지 방법을 개발하여 다양한 벤치마크에서 높은 정확도를 유지하기 위해.
• 계산 자원이 제한된 환경에서 실시간 구현을 지원하기 위해 여러 탐지기를 통합하면서도 오류 제어를 유지할 수 있도록 하기 위해.

제안 방법

• OOD 탐지를 통계적 가설 검정 문제로 공식화하며, 두 귀무가설을 테스트한다: (1) 샘플이 훈련 클래스 분포 중 하나에서 유래되었고, (2) 샘플이 예측된 클래스 분포에서 유래되었다.
• DNN의 모든 레이어에 걸쳐 유효한 비일관성 측정값을 구성하고, 정규화 및 집계하여 종합적 검정 통계량을 형성한다.
• Simes 및 Fisher 조합 방법을 사용해 다층에서 유도된 p-값을 조합함으로써 검출 능력을 향상시키면서도 제1종 오류 제어를 유지한다.
• 저순서 통계(예: 레이어별 p-값의 최대값과 평균값)를 기반으로 한 새로운 탐지기인 MaSF(Max-Simes-Fisher)를 제안하여 계산 오버헤드를 최소화한다.
• 재학습이나 사전 훈련된 DNN의 수정 없이도 적용 가능한 비모수적, 비일관성 기반 추론 접근법을 사용한다.
• 구조적 희소성과 특징 샘플링을 적용해 추론 비용을 추가로 감소시켜 실시간 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 DNN에서 OOD 탐지를 유효한 p-값을 제공하는 통계적 가설 검정 문제로 엄밀히 프레임워크화할 수 있는가?
• RQ2 단일 레이어 방법과 비교해 다층 비일관성 측정값 집계가 OOD 탐지 성능을 크게 향상시킬 수 있는가?
• RQ3 저순서 통계를 기반으로 한 탐지기가 계산 비용을 수십 배 이상 감소시키면서도 최첨단 성능을 달성할 수 있는가?
• RQ4 여러 개의 OOD 탐지기를 통합하는 데 있어 제1종 오류 제어를 유지할 수 있는가?
• RQ5 OOD 분포에 대한 사전 지식이나 네트워크 재학습 없이도 높은 탐지 정확도를 유지할 수 있는가?

주요 결과

• 제안된 프레임워크는 OOD 탐지에서 제1종 오류 제어를 보장하여 내분포 샘플이 잘못하여 OOD로 분류되지 않도록 한다.
• 다층 비일관성 집계는 단일 레이어 탐지기 대비 평균적으로 50% 높은 탐지 정확도 향상을 이룬다.
• MaSF 탐지기는 Lee 등(2018)이 제시한 표준 벤치마크와 같은 기준에서 최첨단 방법과 비교해 유사하거나 더 뛰어난 OOD 탐지 성능을 달성한다.
• MaSF의 추론 속도는 기존 방법보다 35배 더 빠르며, 실시간 및 자원 제약이 있는 응용 분야에 매우 적합하다.
• 다양한 OOD 패턴을 적응적으로 탐지할 수 있도록, 여러 전문 탐지기를 통합하면서도 제1종 오류가 증가하지 않도록 지원한다.
• 재학습, OOD 데이터에 대한 사전 지식, DNN 아키텍처 수정 없이도 이 방법이 효과적으로 기능한다.