[논문 리뷰] LIA: Latently Invertible Autoencoder with Adversarial Learning

Jiapeng Zhu, Deli Zhao외 2명|arXiv (Cornell University)|2019. 09. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 40인용 수 13

한 줄 요약

이 논문은 VAE의 잠재공간에 대칭적인 역행성 네트워크를 통합함으로써 실사진의 분리된, 역행성 인코딩을 가능하게 하는 새로운 GAN 기반 프레임워크인 Latently Invertible Autoencoder(LIA)를 제안한다. 디코더를 GAN으로 학습한 후 분리된 오토인코더로부터 부분적인 인코더를 학습함으로써 LIA는 VAE/GAN의 엉키는 문제를 피하고, FFHQ 및 LSUN 데이터셋에서 고해상도의 이미지 생성과 재구성 성능을 달성한다.

ABSTRACT

Generative Adversarial Networks (GANs) play an increasingly important role in machine learning. However, there is one fundamental issue hindering their practical applications: the absence of capability for encoding real-world samples. The conventional way of addressing this issue is to learn an encoder for GAN via Variational Auto-Encoder (VAE). In this paper, we show that the entanglement of the latent space for the VAE/GAN framework poses the main challenge for encoder learning. To address the entanglement issue and enable inference in GAN we propose a novel algorithm named Latently Invertible Autoencoder (LIA). The framework of LIA is that an invertible network and its inverse mapping are symmetrically embedded in the latent space of VAE. The decoder of LIA is first trained as a standard GAN with the invertible network and then the partial encoder is learned from a disentangled autoencoder by detaching the invertible network from LIA, thus avoiding the entanglement problem caused by the random latent space. Experiments conducted on the FFHQ face dataset and three LSUN datasets validate the effectiveness of LIA/GAN.

연구 동기 및 목표

• 실세계 이미지의 인코딩에서 역행성 추론의 부재로 인한 GAN의 근본적 한계를 해결하기 위해.
• VAE/GAN 프레임워크에서의 잠재공간 엉키는 현상이 효과적인 인코더 학습의 주요 장애물임을 규명하기 위해.
• VAE의 엉킨 잠재공간에서 인코더 학습을 분리함으로써 분리된, 역행성 인코딩을 가능하게 하는 방법을 개발하기 위해.
• GAN 학습과 역행성 오토인코딩을 융합함으로써 고품질의 이미지 생성과 재구성 성능을 달성하기 위해.
• FFHQ 및 LSUN 데이터셋을 포함한 다양한 벤치마크에서 프레임워크를 검증하여 기존의 VAE/GAN 접근 방식보다 향상된 성능을 보여주기 위해.

제안 방법

• LIA는 VAE의 잠재공간 내에 대칭적인 역행성 네트워크와 그 역행성 구조를 통합하여, 잠재 코드로부터 정확한 재구성을 가능하게 한다.
• 디코더는 먼저 잠재 코드를 실사진으로 매핑하기 위해 역행성 네트워크를 활용하여 표준 GAN으로 학습된다.
• GAN 학습 이후, 역행성 네트워크가 분리되고, 실사진을 잠재 코드로 매핑하기 위해 분리된 잠재공간에서 부분적 인코더가 학습된다.
• 표준 VAE에서의 랜덤 노이즈로 인한 엉킴을 방지하기 위해 인코더를 독립적으로 학습함으로써 분리된 잠재공간을 유지한다.
• 프레임워크는 이미지 품질 향상을 위해 적대적 학습을 활용하면서도, 대칭적인 역행성 매핑을 통해 역행성과 분리성을 유지한다.
• 학습된 인코더가 역행성 구조와 분리된 표현을 활용함으로써 실사진을 고해상도로 재구성할 수 있음을 보장한다.

실험 결과

연구 질문

• RQ1 VAE의 엉킨 잠재공간에서 인코더 학습을 분리함으로써 GAN 기반 프레임워크가 역행성 및 분리된 이미지 인코딩을 달성할 수 있는가?
• RQ2 잠재공간에 대칭적인 역행성 네트워크를 사용할 경우, GAN에서 이미지 재구성의 정밀도와 분리성 향상에 기여하는가?
• RQ3 이상적인 VAE/GAN 프레임워크와 비교했을 때, LIA는 이미지 생성 품질과 재구성 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 제안된 방법은 아키텍처 수정 없이 FFHQ 및 LSUN과 같은 다양한 데이터셋에 일반화 가능한가?
• RQ5 분리된 오토인코더 학습을 통해 엉킴을 제거했을 때, GAN 기반 이미지 생성 성능에 어떤 영향을 미치는가?

주요 결과

• LIA는 VAE의 엉킨 잠재공간에서 인코더 학습을 분리함으로써 GAN에서 역행성 및 분리된 인코딩을 성공적으로 실현하였다.
• LIA는 FFHQ 얼굴 데이터셋에서 고해상도의 이미지 생성과 재구성을 달성하여 강력한 시각적 품질을 보였다.
• 분리된 오토인코더 학습을 통해 엉킴을 피함으로써, LIA는 기존의 VAE/GAN 프레임워크보다 재구성 정밀도에서 뛰어난 성능을 보였다.
• 대칭적인 역행성 네트워크의 사용은 잠재 코드로부터 정확한 재구성을 보장하여, GAN에서 신뢰할 수 있는 추론을 가능하게 하였다.
• LSUN 데이터셋에서의 실험을 통해 LIA가 다양한 이미지 도메인에 걸쳐 일반화 능력을 갖춘 것으로 확인되었다.
• LIA가 학습한 분리된 잠재공간은 이미지 속성의 의미 있는 보간 및 조작을 가능하게 하여 개선된 분리성의 가능성을 시사한다.