[논문 리뷰] Likelihood Ratios for Out-of-Distribution Detection

Jie Ren, Peter J. Liu외 6명|arXiv (Cornell University)|2019. 06. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 49인용 수 8

한 줄 요약

이 논문은 깊이 있는 생성 모델에서 분포 외(OOD) 탐지 성능을 향상시키기 위해 배경 통계의 혼란 요인을 보정하는 우도 비율 방법을 제안한다. 이는 원시 우도 점수를 왜곡시키는 배경 통계를 교정함으로써 이루어지며, 유전체 및 이미지 데이터셋에서 기존의 우도 기반 접근법보다 뚜렷하게 뛰어난 성능을 보이며, 독립된 배경 모델을 통해 내분포 특징을 분리함으로써 최신 기술 수준의 OOD 탐지 성능을 달성한다.

ABSTRACT

Discriminative neural networks offer little or no performance guarantees when deployed on data not generated by the same process as the training distribution. On such out-of-distribution (OOD) inputs, the prediction may not only be erroneous, but confidently so, limiting the safe deployment of classifiers in real-world applications. One such challenging application is bacteria identification based on genomic sequences, which holds the promise of early detection of diseases, but requires a model that can output low confidence predictions on OOD genomic sequences from new bacteria that were not present in the training data. We introduce a genomics dataset for OOD detection that allows other researchers to benchmark progress on this important problem. We investigate deep generative model based approaches for OOD detection and observe that the likelihood score is heavily affected by population level background statistics. We propose a likelihood ratio method for deep generative models which effectively corrects for these confounding background statistics. We benchmark the OOD detection performance of the proposed method against existing approaches on the genomics dataset and show that our method achieves state-of-the-art performance. We demonstrate the generality of the proposed method by showing that it significantly improves OOD detection when applied to deep generative models of images.

연구 동기 및 목표

• 실제 머신러닝 배포 환경에서 신뢰할 수 있는 OOD 탐지의 핵심 과제를 해결하기 위해, 특히 모델이 예측할 수 없는 박테리아 서열을 다루는 의료 유전체학 분야에서의 적용을 대비한다.
• 깊이 있는 생성 모델에서 원시 우도 점수가 OOD 탐지에 실패하는 이유를 분석하며, 특히 인구 수준의 배경 통계에 의해 혼란스러워지는 이유를 규명한다.
• 재학습이 필요 없이 이러한 배경 통계를 보정함으로써 OOD 탐지 성능을 향상시키는 일반화 가능한 방법을 개발한다.
• 재현 가능한 평가가 가능한 생물학적으로 관련성이 있는 맥락에서 OOD 탐지 방법을 평가할 수 있도록 실제 유전체 OOD 벤치마크 데이터셋을 구축하고 공개한다.
• 다양한 데이터 모odalities에 걸쳐 성능을 입증하기 위해, 이 방법을 유전체 서열과 이미지 데이터 양쪽에 성공적으로 적용한다.

제안 방법

• 내분포 모델에서의 샘플 우도와 배경 모델에서의 우도를 비교하는 우도 비율 방법을 제안하며, 이는 일반적인 인구 통계 패턴을 반영하는 배경 모델을 통해 내분포 특징을 분리한다.
• 모든 내분포 및 OOD 클래스를 통합하여 배경 모델을 훈련함으로써 일반적인 통계 패턴(예: 염기 빈도 또는 픽셀 빈도 분포)을 표현한다.
• 우도 비율을 log p(x|내분포 모델) - log p(x|배경 모델)로 계산하여 공통된 배경 특징의 영향을 감소시킨다.
• 우도 비율 점수를 OOD 탐지 지표로 사용하며, 낮은 값일수록 OOD일 가능성이 높음을 의미한다.
• 자기회귀적 및 변분 오토인코더 기반 생성 모델을 모두 활용하여 유전체 및 이미지 데이터에 대해 이 방법을 적용한다.
• 내분포 검증 데이터를 사용하여 모델 아키텍처, 배경 모델 구성, 우도 비율 임계값 등의 하이퍼파라미터를 튜닝한다.

실험 결과

연구 질문

• RQ1 깊이 있는 생성 모델이 내분포 데이터에만 훈련되었음에도 불구하고, 왜 OOD 입력에 대해 더 높은 우도를 부여하는가?
• RQ2 유전체나 이미지에서 기초적으로 나타나는 인구 수준의 배경 통계(예: DNA의 기초 조성 또는 픽셀 강도 분포)가 우도 기반 OOD 탐지에 얼마나 큰 영향을 미치는가?
• RQ3 배경 통계를 빼는 우도 비율 접근법이 원시 우도 점수에 비해 OOD 탐지 성능을 향상시킬 수 있는가?
• RQ4 제안된 방법이 유전체 서열과 이미지와 같은 다양한 데이터 모달리티 간에 어떻게 일반화되는가?
• RQ5 제안된 벤치마크에서 유전적 거리(또는 데이터 유사도)와 OOD 탐지 성능 사이의 관계는 어떠한가?

주요 결과

• 우도 비율 방법은 원시 우도 점수보다 OOD 탐지 성능에서 뚜렷한 향상을 보이며, 유전체 벤치마크의 Moorea OOD 클래스에서 AUROC 0.904를 기록하여 기준 방법보다 낮은 점수를 기록한다.
• 제안된 유전체 OOD 탐지 벤치마크에서 최신 기술 수준의 성능을 달성하며, 예측할 수 없는 박테리아 계열에 대해 뛰어난 강건성을 보여준다.
• 우도 비율 방법의 경우, 유전적 거리와 AUROC 간에 강한 양의 상관관계(r = 0.570)가 존재하며, 이는 더 이질적인 OOD 클래스일수록 더 쉽게 탐지됨을 시사한다.
• 우도 비율 방법은 이미지 데이터셋에서도 OOD 탐지 성능을 향상시키며, 이는 생물학 외의 분야로의 일반화 가능성도 입증한다.
• 이 방법은 이전에 우도 모델이 OOD 입력에 대해 더 높은 우도를 부여하는 배경 통계의 혼란 요인을 감소시킨다.
• 앙상블 기반 분류기 기준은 Mucilaginibacter OOD 클래스에서 AUROC 0.910을 기록했지만, 이 방법은 여러 어려운 탐지 클래스에서 이를 초월하며 강건성을 입증한다.