[논문 리뷰] Semantic Interpolation in Implicit Models

Yannic Kilcher, Aurélien Lucchi외 1명|arXiv (Cornell University)|2017. 10. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 3

한 줄 요약

이 논문은 기존의 표준 정규분포에서부터 잠재공간의 원점 근처에 확률 밀도를 집중시키기 위해, GAN과 VAE를 포함한 은닉 생성 모델의 사전 분포를 수정한다. 이를 통해 잠재공간 내 선형 보간이 낮은 밀도 영역을 피하고 고밀도 영역에 머무르게 하여 샘플 품질을 향상시킨다. 다양한 데이터셋과 잠재차원에서의 실험 결과, 이미지 생성 품질이 크게 향상되고 의미론적 보간이 더 명확해지는 것으로 나타났다.

ABSTRACT

In implicit models, one often interpolates between sampled points in latent space. As we show in this paper, care needs to be taken to match-up the distributional assumptions on code vectors with the geometry of the interpolating paths. Otherwise, typical assumptions about the quality and semantics of in-between points may not be justified. Based on our analysis we propose to modify the prior code distribution to put significantly more probability mass closer to the origin. As a result, linear interpolation paths are not only shortest paths, but they are also guaranteed to pass through high-density regions, irrespective of the dimensionality of the latent space. Experiments on standard benchmark image datasets demonstrate clear visual improvements in the quality of the generated samples and exhibit more meaningful interpolation paths.

연구 동기 및 목표

• 표준 은닉 모델의 고차원 잠재공간에서 표준 정규 사전분포가 얇은 껍질에 집중되어 있어 선형 보간이 낮은 확률 영역을 통과하는 문제를 해결하기 위해.
• KL 발산을 사용하여 사전분포와 보간된 점들의 효과적 분포 간의 분포 불일치를 분석하기 위해.
• 잠재차원에 관계없이 선형 보간 경로가 고밀도 영역에 머무르도록 보장하는 수정된 사전분포(감마 분포)를 제안하기 위해.
• 새로운 사전분포가 이미지 생성 과업에서 더 시각적으로 우수하고 의미론적으로 유의미한 보간 경로를 도출하는지 경험적으로 검증하기 위해.

제안 방법

• 잠재코드 크기에 대해 표준 등방성 정규 사전분포 $\mathcal{N}(\mathbf{0}, \mathbf{I})$ 를 감마 분포 $\text{Gamma}(k, \theta)$ 로 대체하여 원점 근처에 확률 질량을 집중시킨다.
• 감마 분포를 사용해 잠재코드의 반경 성분을 매개변수화하면서 방향의 균일성을 유지함으로써 원점 근처에서 더 등방성이고 조밀한 잠재공간을 얻는다.
• 보간된 점들에 의해 유도되는 분포와 사전분포 간의 KL 발산을 수식화하여, 잠재차원과 무관하게 분포 불일치를 통제할 수 있음을 보여준다.
• 수정된 감마 사전분포를 사용해 GAN을 훈련하고, 잠재공간 내 직선 보간을 수행함으로써 모든 보간된 점이 고밀도 영역에 위치하도록 보장한다.
• 속성 기반 유추에 대한 잠재공간 대비 유사도 점수(Latent Algebra Score, LAS)와 같은 정량적 지표와 함께 시각적 검토를 통해 보간 품질을 평가한다.

실험 결과

연구 질문

• RQ1 표준 은닉 모델에서 정규 사전분포를 사용할 경우 고차원 잠재공간 내 선형 보간이 낮은 확률 영역을 통과하는가?
• RQ2 KL 발산을 사용해 사전분포와 보간된 점들의 분포 간 불일치를 공식적으로 기술할 수 있는가?
• RQ3 원점 근처에 질량을 집중시키기 위해 사전분포를 수정함으로써, 구면 보간과 같은 비선형 보간 기법이 더 이상 필요 없어지는가?
• RQ4 새로운 사전분포로 훈련된 모델이 이미지 생성 과업에서 더 시각적으로 뛰어나고 의미론적으로 유의미한 보간 경로를 생성하는가?

주요 결과

• 감마 사전분포를 사용할 경우, 특히 고차원 잠재공간에서 표준 정규 사전분포보다 GAN의 보간 샘플 품질이 크게 향상된다.
• CelebA 데이터셋에서, $d=200$일 때도 감마 사전분포를 사용한 생성자는 높은 품질의 보간을 유지하지만, 정규 사전분포를 사용한 생성자는 잠재차원 증가에 따라 빠르게 품질이 떨어진다.
• 속성 기반 유추에 대한 잠재공간 대비 유사도 점수(LAS)는 정규 사전분포일 경우 0.007496에서 감마 사전분포일 경우 0.005638으로 감소하여, 잠재공간의 의미론적 구조가 향상됨을 시사한다.
• 이론적 분석 결과, 감마 사전분포를 사용할 경우 보간된 점들의 분포와 사전분포 간의 KL 발산이 잠재차원과 무관하게 통제됨을 보여준다.
• 감마 사전분포를 사용한 선형 보간은 안정적이고 효과적이며, 구면 보간과 관련된 불안정성과 긴 경로 문제를 피한다.