[논문 리뷰] Latent Translation: Crossing Modalities by Bridging Generative Models

Yingtao Tian, Jesse Engel|arXiv (Cornell University)|2019. 02. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 14

한 줄 요약

이 논문은 다루는 모odal 간(예: 이미지-음성) 또는 생성 모델 유형 간(예: VAE-에서-GAN)의 전이를 가능하게 하기 위해 다리 역할을 하는 변분 오토에코더를 통해 공유 잠재 공간을 학습하는 잠재 전이(latent translation) 방법을 제안한다. 구조적 정렬을 위해 절삭된 워샤르슈타인 거리(sliced-Wasserstein distance)를 적용하고, 의미 일致성은 분류기로 확보함으로써, 기존 모델을 재학습하는 것에 비해 약 200배 빠른 훈련 시간을 기록하면서도 최대 98%의 높은 전이 정확도를 달성한다.

ABSTRACT

End-to-end optimization has achieved state-of-the-art performance on many specific problems, but there is no straight-forward way to combine pretrained models for new problems. Here, we explore improving modularity by learning a post-hoc interface between two existing models to solve a new task. Specifically, we take inspiration from neural machine translation, and cast the challenging problem of cross-modal domain transfer as unsupervised translation between the latent spaces of pretrained deep generative models. By abstracting away the data representation, we demonstrate that it is possible to transfer across different modalities (e.g., image-to-audio) and even different types of generative models (e.g., VAE-to-GAN). We compare to state-of-the-art techniques and find that a straight-forward variational autoencoder is able to best bridge the two generative models through learning a shared latent space. We can further impose supervised alignment of attributes in both domains with a classifier in the shared latent space. Through qualitative and quantitative evaluations, we demonstrate that locality and semantic alignment are preserved through the transfer process, as indicated by high transfer accuracies and smooth interpolations within a class. Finally, we show this modular structure speeds up training of new interface models by several orders of magnitude by decoupling it from expensive retraining of base generative models.

연구 동기 및 목표

• 기본 모델을 재학습하지 않고도 사전 학습된 생성 모델을 모듈러하고 조합 가능한 방식으로 새로운 다중 모달 작업에 활용할 수 있도록 하는 것.
• 다중 모달 도메인 간 전이 과정에서 국소성과 의미 일치를 유지하는 것.
• 기본 모델 재학습에서 인터페이스 학습을 분리함으로써 훈련 비용을 줄이는 것.
• 다른 생성 모델 아키텍처 간(예: VAE에서 GAN으로)의 전이를 가능하게 하는 것.
• 비지도 정렬과 준지도 학습을 통해 레이블 데이터 의존도를 최소화하는 것.

제안 방법

• 두 도메인의 데이터를 공통 잠재 공간에 인코딩하기 위해 공유 브리지 VAE를 훈련한다.
• 공유 잠재 공간에서 두 도메인의 주변 분포 간의 겹침을 유도하기 위해 절삭된 워샤르슈타인 거리(SWD)를 사용한다.
• 도메인 조건부 디코더는 원핫 레이블을 사용해 어느 도메인의 분포를 재구성할지 제어한다.
• 공유 잠재 공간 내의 선형 분류기는 두 도메인의 레이블을 예측함으로써 의미 일치를 강제한다.
• 재구성 손실, SWD 페널티, 분류 손실의 조합으로 모델을 훈련한다.
• 원본 도메인의 샘플을 타겟 도메인 레이블과 함께 인코딩하고, 타겟 도메인에서 디코딩함으로써 전이를 구현한다.

실험 결과

연구 질문

• RQ1 사전 학습된 생성 모델 간의 다중 모달 전이를 가능하게 하기 위해 공유 잠재 공간을 학습할 수 있는가?
• RQ2 전이된 표현에서 국소성과 의미 일치는 얼마나 잘 유지되는가?
• RQ3 비지도 및 준지도 신호가 전이 성능에 어떤 영향을 미치는가?
• RQ4 기본 생성 모델을 재학습하는 것에 비해 인터페이스 훈련은 얼마나 더 빠른가?
• RQ5 다른 유형의 생성 모델(예: VAE에서 GAN으로) 간 전이를 가능하게 할 수 있는가?

주요 결과

• 6000개의 레이블된 예제를 사용해 MNIST에서 MNIST로의 전이에서 브리지 VAE는 98.0%의 전이 정확도를 달성하여 높은 의미 일치를 입증했다.
• 클래스당 10개의 레이블만으로도 전이 정확도가 52.4%에 도달해 높은 데이터 효율성을 보였다.
• 레이블이 전혀 없더라도 절삭된 워샤르슈타인 거리를 통한 비지도 정렬 덕분에 13.9%의 정확도를 기록했다.
• 기본 WaveGAN 모델을 재학습하는 것에 비해 인터페이스 훈련 시간을 약 200배 감소시켰다.
• 인터폴레이션 결과는 클래스 내에서 매끄럽고 국소적인 전이와 클래스 경계에서 제어된 점프를 보여주어 국소성을 잘 유지했다.
• 절삭 실험 결과 도메인 조건부 제어와 SWD 모두 성능 향상에 유의미하게 기여했으며, 특히 도메인 조건부 제어가 정확도 향상에 가장 큰 기여를 했다.