[논문 리뷰] Understanding the (un)interpretability of natural image distributions using generative models

Ryen Krusinga, Sohil Shah외 3명|arXiv (Cornell University)|2019. 01. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 10

한 줄 요약

이 논문은 자연 이미지 분포에서 생성 모델이 학습한 확률 밀도 함수의 해석 가능성에 대해 조사한다. 연구는 픽셀 공간이 아닌 GAN의 잠재 공간에서 밀도를 추정하는 것을 제안하며, 여기서 거리가 의미적 유사성과 관련이 있어 직관적인 인라이어와 아웃라이어를 도출한다. 이는 잠재공간에서의 밀도가 픽셀공간에서의 밀도보다 훨씬 더 해석 가능하다는 것을 보여준다.

ABSTRACT

Probability density estimation is a classical and well studied problem, but standard density estimation methods have historically lacked the power to model complex and high-dimensional image distributions. More recent generative models leverage the power of neural networks to implicitly learn and represent probability models over complex images. We describe methods to extract explicit probability density estimates from GANs, and explore the properties of these image density functions. We perform sanity check experiments to provide evidence that these probabilities are reasonable. However, we also show that density functions of natural images are difficult to interpret and thus limited in use. We study reasons for this lack of interpretability, and show that we can get interpretability back by doing density estimation on latent representations of images.

연구 동기 및 목표

• 강력한 GAN에 의해 학습된 자연 이미지 분포에 대한 확률 밀도 추정치가 픽셀 공간에서는 왜 해석하기 어려운지 조사하기.
• GAN의 잠재공간에서의 밀도 추정이 밀도와 의미적 유사성의 일치를 통해 해석 가능성을 회복할 수 있는지 탐색하기.
• 잠재공간에서의 고확률 및 저확률 이미지가 일반적인 개념과 이상적인 개념과 어떻게 일치하는지 평가하기.
• semantic structure와 분포 모드를 포착하는 데 있어 픽셀공간과 잠재공간의 밀도 추정기의 동작을 비교하기.

제안 방법

• 생성된 이미지의 잠재 코드 z를 활용하여 GAN에서 명시적인 확률 밀도 추정치를 추출하는 방법을 제안하며, 비일대일 사상에 대한 조정을 위해 자코비안 행렬식을 사용한다.
• 임의의 이미지의 잠재 코드 z에 기반해 그 확률을 예측하는 회귀모형을 학습함으로써, 잠재공간에서의 밀도 함수를 효과적으로 학습한다.
• 비일대일 사상에 대한 표준 변수변환 공식을 사용하며, z에 대한 정규분포 사전과 생성기의 자코비안을 이용해 밀도를 근사한다.
• 실제 이미지와 생성된 이미지의 확률을 비교하고, 최고 및 최저 확률 샘플의 시각적 품질을 분석함으로써 타당성 검증을 수행한다.
• 히스토그램 분포와 인라이어/아웃라이어의 시각적 점검을 통해 픽셀공간과 잠재공간의 밀도 추정을 비교한다.
• 사전에 학습된 GANs(예: CUB에 대한 StackGAN, CIFAR/MNIST에 대한 StyleGAN)를 사용해 잠재코드를 추출하고, 다양한 도메인 간 밀도 일관성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 픽셀 공간에서의 고확률 이미지가 일반적으로 단순하고 고립된 객체(예: 단일 '1' 숫자)를 가진 큰 균일 배경을 가지며, 직관적인 일반성 개념과 모순되는 이유는 무엇인가?
• RQ2 GAN의 잠재공간에서의 밀도 추정이 의미적 콘텐츠와 일치하는 더 해석 가능한 인라이어와 아웃라이어를 생성할 수 있는가?
• RQ3 GAN가 CIFAR-10에서 훈련되었음에도 불구하고, MNIST 숫자(특히 '1')의 확률이 많은 CIFAR-10 이미지보다 높은 이유는 무엇인가?
• RQ4 픽셀공간에서의 해석 불가능성은 유클리드 거리와 의미적 유사성 간의 불일치에서 기인하는가?
• RQ5 잠재공간에서의 밀도 추정이 의미적으로 이국적인 이미지와 같은 더 직관적인 분포 아웃라이어를 회복할 수 있는가?

주요 결과

• 픽셀 공간에서 가장 높은 확률을 가진 이미지는 일반적으로 단일의 간단한 객체(예: 단일 '1' 숫자)를 가진 큰 균일한 배경을 가지며, 일반적인 일반성 개념과 정면으로 배치된다.
• 픽셀 공간에서의 저확률 이미지는 일반적으로 비현실적인 객체 구성(예: 앞부분이 열린 차량)이나 이상한 배경(예: 항공기 이미지에 녹색 하늘)을 보이며 의미적 이상 징후를 보인다.
• CIFAR-10에서 훈련된 GAN는 여전히 많은 CIFAR-10 이미지보다 MNIST 숫자의 확률을 더 높게 부여하며, 이는 픽셀공간의 밀도가 의미적 분포 구조를 반영하지 못한다는 것을 시사한다.
• 반대로, 잠재공간에서의 밀도 추정은 더 균일한 확률 분포를 보이며, CIFAR-10에서 훈련된 모델이 CIFAR-10 이미지를 인라이어로, MNIST 이미지를 아웃라이어로 올바르게 식별한다.
• 잠재공간에서 가장 확률이 높은 이미지는 클래스 간 다양성을 보이며 의미적으로 일관된 이미지로, 높은 확률은 잘 정의된 주요 전경 객체와 연결된다.
• 잠재공간에서 가장 낮은 확률을 가진 이미지는 의미적으로 이국적인 특징을 보이며, 예를 들어 이상한 자세의 객체나 일관되지 않은 배경을 가진 이미지로, 이는 모델이 의미 있는 아웃라이어 행동을 포착하고 있음을 확인한다.