[논문 리뷰] On the Latent Space of Wasserstein Auto-Encoders

Paul K. Rubenstein, Bernhard Schoelkopf외 1명|arXiv (Cornell University)|2018. 02. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 9인용 수 21

한 줄 요약

이 논문은 잠재 공간 차원 수의 불일치 문제, 특히 잠재 차원이 내재 데이터 차원을 초과할 경우에 대해 워샤르스타인 오토인코더(WAEs)에서 무작위 인코더를 사용하여 내성적 성능을 향상시키는 것을 제안한다. 무작위 인코더가 재구성 품질과 분리 가능성 측면에서 결정적 인코더를 능가하며, dSprites 벤치마크에서 98.8%의 분리 가능성과 β-VAE보다 훨씬 낮은 재구성 오차를 기록함으로써 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We study the role of latent space dimensionality in Wasserstein auto-encoders (WAEs). Through experimentation on synthetic and real datasets, we argue that random encoders should be preferred over deterministic encoders. We highlight the potential of WAEs for representation learning with promising results on a benchmark disentanglement task.

연구 동기 및 목표

• 잠재 공간 차원 수의 불일치가 WAE 성능에 미치는 영향을 조사하는 것.
• 잠재 차원이 내재 데이터 차원을 초과할 경우 WAE에서 결정적 인코더의 한계를 해결하는 것.
• 무작위 인코더가 WAE에서 표현 학습과 일반화 능력을 향상시킬 수 있는지 평가하는 것.
• 무작위 인코더를 갖춘 WAE를 분리 가능성 작업에 대해 벤치마킹하고, β-VAE와 같은 최신 기술 수준의 방법들과 성능을 비교하는 것.

제안 방법

• 저자는 WAE의 최소-최소 공식을 사용하여 기대 재구성 오차와 집합 사후분포 및 사전분포 간의 정규화된 최적 운반 거리의 합을 최소화한다.
• 고정된 평균과 분산을 갖는 결정적 인코더와 확률적 인코딩 분포를 갖는 무작위 인코더를 비교하며, 정규분포 및 균일분포 사전을 사용한다.
• 정규화를 위해 인코더 분산에 L1 펜alties를 적용하여 고차원 잠재 공간에서 분산 붕괴를 방지한다.
• 모델은 인코더와 디코더 모두에 깊은 신경망을 사용하여 훈련하며, 추론 시에는 학습된 분포에서 잠재 코드를 샘플링한다.
• 합성 데이터(fading squares)와 실세계 데이터셋(CelebA)을 대상으로 실험하며, dSprites 데이터셋을 사용해 분리 가능성 성능을 평가한다.
• 분리 가능성 지표는 잠재 코드에 선형 분류기를 적용하여 계산하고, 재구성 오차는 평균 제곱오차로 측정한다.

실험 결과

연구 질문

• RQ1 잠재 공간 차원 수의 불일치가 WAE 성능에 어떤 영향을 미치는가?
• RQ2 잠재 차원이 내재 데이터 차원을 초과할 경우 무작위 인코더가 WAE 성능을 향상시킬 수 있는가?
• RQ3 무작위 인코더를 갖춘 WAE는 β-VAE와 비교해 분리 가능성과 재구성 품질 측면에서 어떻게 다른가?
• RQ4 최신 기술 수준의 방법들과 비교해 WAE가 뛰어난 재구성 능력을 유지하면서도 더 높은 분리 가능성을 달성할 수 있는가?

주요 결과

• 무작위 인코더 WAE는 5변수 dSprites 작업에서 98.8%의 분리 가능성을 달성하여 β-VAE의 85.4%를 크게 능가했다.
• 최고의 WAE는 테스트 재구성 오차 94.0±5.8을 기록했으며, 동일 작업에서 β-VAE의 156.1±5.7보다 우수했다.
• 4변수 분리 가능성 작업에서는 WAE가 β-VAE의 99.23% 분리 가능성을 유지했고, 재구성 오차는 40.8±1.5로 β-VAE의 114.8±5.2보다 훨씬 낮았다.
• d_Z ≫ d_I 조건에서 무작위 인코더가 결정적 인코더를 능가했으며, 특히 고차원 잠재 공간에서 두드러진 성능 향상을 보였다.
• 적절한 분산 정규화를 통해 무작위 인코더 WAE는 알려지지 않은 내재 데이터 차원 수에 효과적으로 적응할 수 있었다.
• 시각적 재구성 결과는 WAE가 β-VAE보다 이미지 품질을 더 잘 유지하면서도 뛰어난 분리 가능성을 달성함을 확인했다.