[논문 리뷰] Optimal transport maps for distribution preserving operations on latent spaces of Generative Models

Eirikur Agustsson, Alexander Sage외 2명|arXiv (Cornell University)|2017. 11. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 10

한 줄 요약

이 논문은 VAE 및 GAN과 같은 생성 모델의 잠재 공간 연산에서 분포 불일치를 보정하기 위해 최적 운반 지도(optimal transport maps)를 제안한다. 표준 연산(예: 보간, 근접 샘플링)을 최소한으로 수정함으로써 사전 분포를 유지함으로써, 기존 모델과 동일한 Inception 점수를 기록하고 표준 선형 보간보다 최대 29% 향상된 훨씬 더 높은 품질의 샘플을 생성한다.

ABSTRACT

Generative models such as Variational Auto Encoders (VAEs) and Generative Adversarial Networks (GANs) are typically trained for a fixed prior distribution in the latent space, such as uniform or Gaussian. After a trained model is obtained, one can sample the Generator in various forms for exploration and understanding, such as interpolating between two samples, sampling in the vicinity of a sample or exploring differences between a pair of samples applied to a third sample. In this paper, we show that the latent space operations used in the literature so far induce a distribution mismatch between the resulting outputs and the prior distribution the model was trained on. To address this, we propose to use distribution matching transport maps to ensure that such latent space operations preserve the prior distribution, while minimally modifying the original operation. Our experimental results validate that the proposed operations give higher quality samples compared to the original operations.

연구 동기 및 목표

• 훈련된 생성 모델의 표준 잠재 공간 연산에서 유도되는 분포 불일치를 규명하고 이를 해결하는 것.
• 선형 보간 및 벡터 산술과 같은 일반적인 연산이 조건부 균일 사전 분포일지라도 사전 분포를 왜곡한다는 것을 보여주는 것.
• 원래 연산의 궤적을 최소한으로 수정하면서도 사전 분포를 유지하는 원칙적인 방법을 개발하는 것.
• 분포를 유지하는 연산이 표준 접근 방식에 비해 더 높은 품질의 샘플을 생성한다는 것을 검증하는 것.
• 최적 운반 이론을 사용하여 보간, 근접 샘플링과 같은 매칭된 연산에 대해 분석적 해를 제공하는 것.

제안 방법

• 원래 연산의 분포를 최소한으로 왜곡하면서도 출력 분포가 사전 분포와 일치하도록 보장하는 운반 지도를 최적 운반을 통해 계산한다.
• 분포 등가성을 강제하는 조건 하에 분포 일치 보간을 볼록 최적화 문제의 해로 공식화한다.
• 선형 보간, 구면 보간(SLERP), 근접 샘플링과 같은 표준 연산을 분포 유지 버전으로 변환하기 위해 운반 지도를 적용한다.
• 정규 분포 및 균일 분포 사전 하에서 분포 일치 보간 및 근접 샘플링에 대해 분석적 표현을 유도한다.
• 임의의 사전 분포에 대해 운반 지도를 수치 최적화를 통해 계산하는 방법을 구현한다.
• 재학습 없이도 기존 생성 모델(DCGAN, iWGAN 등)에 매칭된 연산을 통합하는 것.

실험 결과

연구 질문

• RQ1 선형 보간과 같은 표준 잠재 공간 연산이 훈련 시 사용된 사전 분포와의 분포 불일치를 유도하는가?
• RQ2 최적 운반을 사용하여 이러한 분포 불일치를 유지하면서도 원래 연산의 의미적 의도를 보존할 수 있는가?
• RQ3 표준 연산과 제안된 분포 유지 대안 간에 생성 샘플의 품질은 어떻게 비교되는가?
• RQ4 분포 유지 연산이 Inception 점수와 같은 정량적 지표에 얼마나 기여하는가?
• RQ5 제안된 방법이 다양한 연산(보간, 근접 샘플링, 무작위 보행)과 다양한 사전 분포로 일반화 가능한가?

주요 결과

• 표준 선형 보간은 조건부 균일 사전 분포일지라도 심각한 분포 불일치를 유도하며, 이는 낮은 품질의 샘플로 이어진다.
• 제안된 매칭 보간은 사전 분포를 정확히 유지하며, Inception 점수는 원본 모델과 통계적으로 구분되지 않으며(예: CIFAR-10에서 7.89 ± 0.08 vs. 사전 분포 7.90 ± 0.11), 동일한 성능 기록.
• CelebA에서 선형 보간은 Inception 점수를 최대 29% 감소시켜(1.46 ± 0.01 vs. 2.05 ± 0.04) 품질 저하가 심각함을 입증한다.
• 구면 보간(SLERP)은 Inception 점수 측면에서 제안된 매칭 방법과 유사한 성능을 보였지만, 매칭 방법은 원칙적이고 분포 유지 가능한 해를 제공한다.
• 불일치한 근접 샘플링을 반복 적용할 경우 샘플 품질이 급격히 악화되며, 몇 번의 단계 후에는 인식 불가능한 출력이 생성됨—이를 통해 분포 불일치의 누적 효과가 드러난다.
• 매칭된 근접 샘플링은 잠재 공간 내에서 안정적인 무작위 보행을 가능하게 하여, 비틀림 없는 버전과 달리 다수의 단계 동안 샘플 품질을 유지한다.