[논문 리뷰] Out-of-Distribution Detection Using Neural Rendering Generative Models

Yujia Huang, Sihui Dai외 3명|arXiv (Cornell University)|2019. 07. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 7

한 줄 요약

이 논문은 신경 렌더링 모델(NRM)에서 잠재 변수의 연합 가능도를 사용하여 분포 외(OoD) 탐지에 활용함을 제안하며, 가능도 기반 및 재구성 기반 접근법을 통합한다. NRM는 CIFAR-10에서 학습된 경우에도 변동성이 낮은 OoD 데이터(예: SVHN)에 대해 일관되게 낮은 가능도를 부여함을 입증하였으며, 기존의 가능도 및 재구성 기반 지표보다 뛰어나며, 깊이 있는 생성 모델을 사용할 때 이러한 OoD 샘플을 신뢰성 있게 탐지할 수 있는 최초의 방법이다.

ABSTRACT

Out-of-distribution (OoD) detection is a natural downstream task for deep generative models, due to their ability to learn the input probability distribution. There are mainly two classes of approaches for OoD detection using deep generative models, viz., based on likelihood measure and the reconstruction loss. However, both approaches are unable to carry out OoD detection effectively, especially when the OoD samples have smaller variance than the training samples. For instance, both flow based and VAE models assign higher likelihood to images from SVHN when trained on CIFAR-10 images. We use a recently proposed generative model known as neural rendering model (NRM) and derive metrics for OoD. We show that NRM unifies both approaches since it provides a likelihood estimate and also carries out reconstruction in each layer of the neural network. Among various measures, we found the joint likelihood of latent variables to be the most effective one for OoD detection. Our results show that when trained on CIFAR-10, lower likelihood (of latent variables) is assigned to SVHN images. Additionally, we show that this metric is consistent across other OoD datasets. To the best of our knowledge, this is the first work to show consistently lower likelihood for OoD data with smaller variance with deep generative models.

연구 동기 및 목표

• 분포 내 데이터보다 분포 외 데이터의 변동성이 낮을 경우 기존의 가능도 및 재구성 기반 OoD 탐지 방법이 실패하는 문제를 해결하기 위해.
• 신경 렌더링 모델(NRM)을 활용하여 가능도 기반 및 재구성 기반 OoD 탐지 방법을 하나의 프레임워크로 통합하기 위해.
• 픽셀 수준의 변동성에 민감하지 않으며 이미지의 구조를 잘 포착하는 강력한 OoD 탐지 지표를 식별하기 위해.
• NRM에서 최적화된 잠재 변수의 연합 가능도가 분포 내 및 분포 외 데이터 간에 일관된 분리를 제공함을 보여주기 위해.

제안 방법

• 신경 렌더링 모델(NRM)을 활용하며, 이는 CNN의 순방향 전파 과정을 역행하고, 사전 분포 p(z|y)를 갖는 구조적 잠재 변수를 통해 이미지 생성을 모델링한다.
• 관측 가능도 p(x)를 재구성 손실과 잠재 변수의 연합 가능도로 분해함으로써, 다수의 OoD 탐지 지표를 가능하게 한다.
• 주요 OoD 지표로 최적화된 잠재 변수의 연합 가능도 p({z*(ℓ)}ℓ=1:L | y*)에 초점을 맞추며, 이는 픽셀 수준의 지표보다 이미지의 구조를 더 잘 포착한다.
• NRM 프레임워크 내에서 최신의 CNN 아키텍처(예: ResNet, DenseNet)를 활용하여 표현 학습 및 탐지 성능을 향상시킨다.
• 다양한 지표—데이터 가능도 p(x), 재구성 손실, 잠재 가능도 p(z)—를 평가하고, 이들의 OoD 탐지 성능을 비교한다.
• 분포 내(CIFAR-10) 및 분포 외(SVHN, CelebA) 데이터 간의 분리 정도를 시각화하기 위해 로그 가능도 점수의 히스토그램 분석을 수행한다.

실험 결과

연구 질문

• RQ1 NRM에서 잠재 변수의 연합 가능도가 기존의 가능도 또는 재구성 손실보다 더 강력한 OoD 탐지 지표가 될 수 있는가?
• RQ2 제안된 지표는 훈련 분포보다 변동성이 낮은 OoD 샘플을 효과적으로 탐지할 수 있는가?
• RQ3 잠재 변수의 연합 가능도는 분포 내 및 분포 외 데이터 분포 간의 분리 정도에서 다른 지표와 비교해 어떻게 성능을 내는가?
• RQ4 NRM 프레임워크는 가능도 기반 및 재구성 기반 OoD 탐지 접근법을 통합할 수 있는가?

주요 결과

• CIFAR-10에서 학습된 경우에도, SVHN 이미지에 대해 최적화된 잠재 변수의 연합 가능도 p({z*(ℓ)}ℓ=1:L | y*)는 변동성이 낮음에도 불구하고 일관되게 낮은 가능도를 할당한다.
• 이 지표는 분포 내 및 분포 외 데이터 간에 의미 있는 분리를 보이며, Glow의 가능도와 같은 다른 지표와 달리 히스토그램 피크 간의 겹침이 최소화된다.
• 알 수 없는 분포 외 분포에 대해 강건하며, OoD 특성에 대한 사전 지식이 필요하지 않다.
• 이 지표는 픽셀 수준의 가능도나 재구성 손실보다 이미지의 구조를 더 잘 포착하여 변동성 차이에 대한 민감도를 감소시킨다.
• 이러한 깊이 있는 생성 모델을 사용할 때, 변동성이 낮은 OoD 데이터에 대해 낮은 가능도를 신뢰성 있게 할당할 수 있는 최초의 지표이다.