[논문 리뷰] Hierarchical VAEs Know What They Don't Know

Jakob D. Havtorn, Jes Frellsen외 2명|arXiv (Cornell University)|2021. 02. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 49인용 수 8

한 줄 요약

이 논문은 계층적 VAE가 분포 외 데이터(OOD) 탐지에 실패하는 이유를 규명하며, 저수준 특징(예: 에지)이 다양한 데이터셋 간에 일반화되어 확률 추정치를 지배하기 때문에 OOD 데이터에 높은 확률을 부여함으로써 발생한다고 밝힌다. 이를 해결하기 위해, 모든 계층적 특징 수준에서 내분포 활성화를 강제하는 새로운 완전 무 supervision 확률비 점수를 제안하며, 다양한 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

Deep generative models have been demonstrated as state-of-the-art density estimators. Yet, recent work has found that they often assign a higher likelihood to data from outside the training distribution. This seemingly paradoxical behavior has caused concerns over the quality of the attained density estimates. In the context of hierarchical variational autoencoders, we provide evidence to explain this behavior by out-of-distribution data having in-distribution low-level features. We argue that this is both expected and desirable behavior. With this insight in hand, we develop a fast, scalable and fully unsupervised likelihood-ratio score for OOD detection that requires data to be in-distribution across all feature-levels. We benchmark the method on a vast set of data and model combinations and achieve state-of-the-art results on out-of-distribution detection.

연구 동기 및 목표

• 심층 생성 모델, 특히 계층적 VAE가 단일 분포에서 훈련된 후에도 분포 외 데이터(OOD)에 대해 내분포 데이터보다 더 높은 확률을 부여하는 이유를 조사하는 것.
• 이러한 실패의 근본 원인을 규명하며, 특히 다양한 데이터 분포 간에 공유되는 일반화된 저수준 특징(예: 에지)이 확률 추정치를 지배하는 역할을 하는지 분석하는 것.
• 저수준 특징이 확률 추정치를 지배하는 것을 방지하기 위해, 레이어 간의 의존성 없이도 빠르고 확장 가능하며 완전히 무 supervision인 OOD 탐지 방법을 개발하는 것.
• 제안된 확률비 점수를 사용하여 다양한 데이터 및 모델 조합에서 OOD 탐지 성능을 최고 수준으로 보여주는 것.

제안 방법

• 이 방법은 각 계층적 레이어 $l$에서 모델의 전체 사후분포 하에서의 샘플 확률과 해당 레이어의 조건부 사전분포 하에서의 확률을 비교하는 확률비 점수 $LLR^{>l}$를 도입한다.
• 이 점수는 샘플이 상단에서부터 레이어 $l$까지 모든 특징 수준에서 내분포여야 한다는 조건을 부여함으로써, 저수준 특징이 확률 추정치를 오도하는 것을 방지한다.
• 안정적이고 확장 가능한 OOD 탐지가 가능하도록, 1000개의 샘플을 사용한 중요도 샘플링을 활용하여 확률을 계산하며, 이는 레이블이 없는 OOD 데이터가 필요로 하지 않는다.
• 모델는 다중 잠재 레이어를 가진 계층적 VAE 아키텍처로 훈련되며, 각 레이어의 사후분포는 상위 레이어의 잠재변수에 조건부로 설정되고, 사전분포는 레이어 간에 인과적으로 분리된다.
• 표준 지표인 AUROC, AUPRC, FPR80을 사용하여 MNIST, FashionMNIST, CIFAR10, Omniglot 등의 다양한 데이터셋에서 OOD 탐지 성능을 평가한다.

실험 결과

연구 질문

• RQ1 계층적 VAE가 단일 분포에서 훈련되었음에도 불구하고 분포 외 데이터에 대해 내분포 데이터보다 더 높은 확률을 부여하는 이유는 무엇인가?
• RQ2 저수준 특징(예: 에지)이 얼마나 일반화되어 다양한 데이터셋 간에 공유되며, 계층적 VAE의 확률 추정치를 지배하는가?
• RQ3 모든 계층적 특징 수준에서 내분포 활성화를 강제하는 확률비 점수가 OOD 탐지 성능을 향상시킬 수 있는가?
• RQ4 제안된 방법은 OOD 레이블이나 예시가 없이도 완전히 무 supervision 환경에서 최고 성능을 달성하는가?

주요 결과

• FashionMNIST에서 훈련된 경우, 제안된 확률비 점수 $LLR^{>1}$는 notMNIST 데이터셋에서 AUROC 0.998을 기록하며 표준 확률보다 뛰어난 성능을 보였다.
• MNIST에서 훈련된 경우, Omniglot28x28 데이터셋에서 $LLR^{>2}$는 AUROC 1.000과 AUPRC 1.000을 기록하여 거의 완벽한 OOD 탐지 성능을 보였다.
• CIFAR10에서 훈련된 HVAE의 경우, $LLR^{>1}$는 CIFAR100 OOD 세트에서 AUROC 0.835와 AUPRC 0.835를 기록했으며, 표준 확률 $\mathcal{L}^{>1}$가 기록한 0.479 AUROC보다 뚜렷이 뛰어났다.
• 어려운 Omniglot28x28Inverted 데이터셋에서 $LLR^{>1}$는 AUROC 0.944와 AUPRC 0.953를 기록했고, 표준 확률 $\mathcal{L}^{>1}$는 단지 0.450 AUROC를 기록하여, 이 방법의 분포 이탈에 대한 강건성을 입증했다.
• 모든 테스트된 데이터셋과 모델 조합에서 최고 성능을 기록했으며, 대부분의 벤치마크에서 AUROC 점수가 0.95 이상이었고, KMNIST에서는 0.999, SmallNORB28x28에서는 1.000을 기록했다.