[논문 리뷰] Bias and Generalization in Deep Generative Models: An Empirical Study

Shengjia Zhao, Hongyu Ren외 4명|arXiv (Cornell University)|2018. 11. 08.

Generative Adversarial Networks and Image Synthesis인용 수 53

한 줄 요약

이 논문은 저차원 특징을 탐색하고 GAN과 VAE 전반의 단일 및 다중 특징 일반화 패턴을 검토하여 심리인류학에서 영감을 받은 프레임워크로 깊은 생성 모델의 편향과 일반화를 경험적으로 연구한다.

ABSTRACT

In high dimensional settings, density estimation algorithms rely crucially on their inductive bias. Despite recent empirical success, the inductive bias of deep generative models is not well understood. In this paper we propose a framework to systematically investigate bias and generalization in deep generative models of images. Inspired by experimental methods from cognitive psychology, we probe each learning algorithm with carefully designed training datasets to characterize when and how existing models generate novel attributes and their combinations. We identify similarities to human psychology and verify that these patterns are consistent across commonly used models and architectures.

연구 동기 및 목표

• 고차원 이미지 공간에서 딥 생성 모델의 귀납적 편향과 일반화 동작을 특징화한다.
• 저차원해석 가능한 특징을 통해 모델을 탐험하기 위한 cognitive psychology에서 영감을 받은 프레임워크를 개발한다.
• 다양한 아키텍처(GANs와 VAEs), 데이터셋(CLEVR, MNIST 등), 하이퍼파라미터에 걸쳐 관찰된 일반화 패턴의 일관성을 평가한다.

제안 방법

• 해석 가능한 저차원 특징 공간으로 고해상 이미지 공간을 투영합니다(예: 수적, 색상, 크기, 위치).
• 제어된 데이터셋에서 GANs와 VAEs를 학습하고 유도된 특징 분포 p(z)와 학습된 분포 q(z)를 측정합니다.
• 단일 특징 탐침을 사용하여 충동 응답과 컨볼루션-유사 일반화 패턴을 연구합니다.
• z의 지원에 대한 정밀도-재현을 통해 다중 특징 일반화를 조사하고 암기 vs 새로운 조합 생성 여부를 평가합니다.
• 다른 특징을 변화시키고 z 일반화의 안정성을 관찰하여 특징 간 독립성을 평가합니다.
• 모델 유형과 아키텍처 전반에서 일반화 동향을 시각화하고 비교합니다.

실험 결과

연구 질문

• RQ1 특징 하나의 값으로 주어진 데이터에서 학습될 때 깊은 생성 모델은 어떻게 일반화하는가?
• RQ2 다중 모드 학습 데이터가 암기 대 신규 특징 조합 생성 경향에 어떤 영향을 미치는가?
• RQ3 단일 특징 일반화 패턴(예: 컨볼루션, 프로토타입 강화)이 GAN과 VAE 및 다양한 데이터셋에서 유지되는가?
• RQ4 특징 간 독립성이 보장되어 하나의 특징에 대한 분석을 다른 특징과 분리하여 간주할 수 있는가?
• RQ5 여러 특징 간 새로운 조합을 생성하면서 주변 분포를 어떻게 보존하는가?

주요 결과

• 생성 모델은 학습 특징 값을 정확히 재생산하지 않으며, 종종 학습 값 근처에 편향된 분포를 보이고 과대/과소 진동 경향을 나타낸다.
• 특징에 다중 모드가 있을 때 모델 동작은 임펄스 응답으로의 선형 필터(컨볼루션)처럼 보이나 모드가 가까우면 프로토타입 강화가 발생한다.
• 색상 비율에 대해 학습된 분포는 학습 값 근처의 대략 가우시안이며, 극단적 비율에서 분산이 더 뚜렷해지는 것은 Weber의 법칙과 일치한다.
• 다중 특징의 경우 모델은 소규모 학습 세트를 암기하지만 조합의 수가 증가함에 따라 새로운 조합을 생성하고 각 특징의 주변 분포를 보존한다.
• 재현도는 높고(모든 학습 조합이 q(z)에 나타난다) 그러나 조합의 수가 커지면 정밀도가 감소하여 새로운 조합의 생성을 나타낸다.
• 특징 간 독립성이 관찰되며, 다른 특징을 바꿔도 특정 특징에 대해 학습된 분포가 크게 바뀌지 않지만 더 높은 분산은 모드 병합을 촉진할 수 있다.