[논문 리뷰] Detecting Out-of-Distribution Inputs to Deep Generative Models Using Typicality

Eric Nalisnick, Akihiro Matsukawa외 2명|arXiv (Cornell University)|2019. 06. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 65인용 수 58

한 줄 요약

요약: 이 논문은 모델-독립적이며 부트스트랩 기반의 전형성(typicality) 테스트를 도입하여 입력 우도(likelihoods)를 사용하여 모델의 전형 세트의 구성원을 검사함으로써 심층 생성 모델의 OOD(Out-of-Distribution) 입력을 탐지한다.

ABSTRACT

Recent work has shown that deep generative models can assign higher likelihood to out-of-distribution data sets than to their training data (Nalisnick et al., 2019; Choi et al., 2019). We posit that this phenomenon is caused by a mismatch between the model's typical set and its areas of high probability density. In-distribution inputs should reside in the former but not necessarily in the latter, as previous work has presumed. To determine whether or not inputs reside in the typical set, we propose a statistically principled, easy-to-implement test using the empirical distribution of model likelihoods. The test is model agnostic and widely applicable, only requiring that the likelihood can be computed or closely approximated. We report experiments showing that our procedure can successfully detect the out-of-distribution sets in several of the challenging cases reported by Nalisnick et al. (2019).

연구 동기 및 목표

• 모델의 고밀도 영역과 그 전형 집합 간의 불일치를 OOD 데이터에 대한 오도된 가능도의 원인으로 제시한다.
• CDF나 저차원 투영에 의존하지 않고 OOD를 판단하는 원리적이고 확장 가능한 GoF 테스트를 정의한다.
• 계산 가능한 우도를 갖는 모든 DGM에서 작동하며 적은 데이터 환경에서 견고한 실용적 구현을 제공한다.
• 다양한 DGMs 및 데이터 세트에 걸쳐 방법을 평가하여 전형성 기반 OOD 탐지의 성공 사례와 실패 모드를 식별한다.

제안 방법

• 샤논 엔트로피를 통해 전형성(typicality)을 형식화하고 (ε,N)-전형 집합 정의를 사용한다.
• 전형성을 GoF 테스트로 재정의한다: 테스트 배치가 AεM[p(x;θ)]에 속하는지 확인하여 OOD 여부를 결정한다.
• 모델 엔트로피를 재대체 추정기(resubstitution estimator) 또는 몬테카를로 샘플로 추정합니다: H[p(x;θ)] ≈ (1/S)∑−log p(x̂s;θ) 또는 (1/N)∑−log p(xn;θ).
• 유지된 검증 데이터에 대한 부트스트랩 신뢰구간을 사용하여 결정 임계값 ε를 설정하고 제1종 오류를 제어한다.
• 검정 통계량 ε̂ = | (1/M)∑−log p(x̃m;θ) − H[p(x;θ)] | 를 계산하고 ε̂ > ε 인 경우 기각한다.
• 원하는 α에 대해 테스트 전 사전 계산을 위한 임계값 εαM을 완전 오프라인 부트스트랩 절차로 제공한다.

실험 결과

연구 질문

• RQ1 전형성 기반 기준이 심층 생성 모델에서 동일분포(in-distribution) 데이터와 외분포(out-of-distribution) 데이터를 신뢰성 있게 구분할 수 있는가?
• RQ2 고차원 환경에서 모델의 전형 세트에 대한 구성원 여부를 테스트하는 것이 밀도 기반의 OOD 탐지보다 우수한가?
• RQ3 실제 DGM 응용에서 GoF 테스트를 위한 부트스트랩 유도 임계값의 실용성과 견고성은 어느 정도인가?
• RQ4 다양한 아키텍처와 데이터 세트에서 전형성 기반 OOD 탐지의 실패 모드와 한계는 무엇인가?

주요 결과

• 제안된 전형성 테스트는 여러 DGMs 및 데이터 세트에서 가능도만으로는 오도되는 몇 가지 도전적인 사례에서 OOD 입력을 탐지할 수 있다.
• 부트스트랩을 사용하여 OOD 임계값을 설정하는 것은 고차원 데이터와 다양한 모델 클래스(노멀라이징 플로우, VAE, 자기회귀 모델)에 대해 견고한 결정 규칙을 제공한다.
• 재대체(resubstitution)를 통한 경험적 엔트로피 추정은 순수 몬테카를로 추정보다 OOD 탐지 성능을 종종 향상시킨다.
• 이 방법은 서로 다른 모델-데이터 조합에서 주목할 만한 실패 모드와 가변성을 드러내며 향후 개선의 여지를 강조한다.
• 여러 GoF 기준선(t-test, KS-test, MMD, KSD, annulus)과 비교할 때, 전형성 접근법은 OOD 배치를 구분하는 데 경쟁력 있는 성능을 보이거나 때로는 우월한 성능을 보인다.