[논문 리뷰] Adversarially Approximated Autoencoder for Image Generation and Manipulation

Wenju Xu, Shawn Keshmiri외 1명|arXiv (Cornell University)|2019. 02. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 59인용 수 6

한 줄 요약

이 논문은 적대적 훈련을 통해 비정규화된 오토인코더가 학습한 잠재 공간 분포를 근사하는 방식으로 오토인코더와 GAN을 통합하는 새로운 생성 모델인 적대적으로 근사된 오토인코더(Adversarially Approximated Autoencoder, AAAE)를 제안한다. 고정된 사전 분포를 강제로 부여하는 대신, 임의의 노이즈를 진짜 잠재 분포로 매핑하는 생성자 네트워크를 훈련시켜 명시적 정규화 없이도 정확한 이미지 재구성과 고품질의 샘플 생성을 가능하게 하며, 여러 벤치마크에서 최신 기법들을 능가한다.

ABSTRACT

Regularized autoencoders learn the latent codes, a structure with the regularization under the distribution, which enables them the capability to infer the latent codes given observations and generate new samples given the codes. However, they are sometimes ambiguous as they tend to produce reconstructions that are not necessarily faithful reproduction of the inputs. The main reason is to enforce the learned latent code distribution to match a prior distribution while the true distribution remains unknown. To improve the reconstruction quality and learn the latent space a manifold structure, this work present a novel approach using the adversarially approximated autoencoder (AAAE) to investigate the latent codes with adversarial approximation. Instead of regularizing the latent codes by penalizing on the distance between the distributions of the model and the target, AAAE learns the autoencoder flexibly and approximates the latent space with a simpler generator. The ratio is estimated using generative adversarial network (GAN) to enforce the similarity of the distributions. Additionally, the image space is regularized with an additional adversarial regularizer. The proposed approach unifies two deep generative models for both latent space inference and diverse generation. The learning scheme is realized without regularization on the latent codes, which also encourages faithful reconstruction. Extensive validation experiments on four real-world datasets demonstrate the superior performance of AAAE. In comparison to the state-of-the-art approaches, AAAE generates samples with better quality and shares the properties of regularized autoencoder with a nice latent manifold structure.

연구 동기 및 목표

• 정규화된 오토인코더가 진짜 잠재 분포와 사전 분포가 불일치함으로써 정확한 이미지 재구성을 제공하지 못하는 한계를 해결하기 위해.
• 오토인코더(재구성)와 GAN(다양한 생성)의 능력을 하나의 프레임워크 안에서 통합하기 위해.
• 잠재 코드에 대한 명시적 정규화가 필요 없도록, 적대적 근사를 통해 진짜 잠재 분포를 암묵적으로 학습함으로써 고정된 사전 분포를 제거하기 위해.
• 정규화된 사전 분포를 강제로 부여하지 않고도 재구성 정밀도를 향상시키고, 매끄럽고 구조적인 잠재 다각형을 학습하기 위해.

제안 방법

• 비정규화된 오토인코더를 사용해 신뢰성 있는 신뢰도 매핑을 학습함으로써, 잠재 공간 내에서 진짜 데이터 분포를 유지한다.
• 별도의 생성자 네트워크가 임의의 노이즈를 진짜 잠재 분포로 매핑한다.
• 진짜 잠재 코드(인코더에서 유래)와 가짜 잠재 코드(생성자에서 유래)를 구별하도록 판별자 네트워크를 훈련시켜, 적대적 훈련을 통해 분포 유사성을 강제한다.
• 추가로 이미지 공간을 정규화하기 위한 판별자를 사용하여 현실적인 샘플 생성을 보장한다.
• 재구성 손실과 잠재 공간 및 이미지 공간에 대한 적대적 손실을 결합한 훈련 목표를 설정함으로써, 잠재 코드에 대한 명시적 정규화를 제거한다.
• 적대적 근사를 활용해 오토인코더와 GAN의 목표를 통합함으로써, 정확한 재구성과 다양한 생성을 동시에 가능하게 한다.

실험 결과

연구 질문

• RQ1 잠재 공간의 적대적 근사를 통해 명시적 정규화 없이도 오토인코더의 재구성 정밀도를 향상시킬 수 있는가?
• RQ2 고정된 사전 분포를 데이터 기반의 암묵적 잠재 분포로 대체할 경우 샘플 품질과 다각형 구조에 어떤 영향을 미치는가?
• RQ3 오토인코더와 GAN을 통합한 프레임워크는 정확한 재구성과 다양한 생성을 동시에 달성할 수 있는가?
• RQ4 잠재 코드에 대한 명시적 정규화가 없을 경우, 실제 이미지 데이터셋에서 더 나은 성능을 낼 수 있는가?

주요 결과

• AAAE는 정규화된 오토인코더와 최신 기반 GAN 모델보다 뛰어난 이미지 재구성 품질을 달성한다.
• CelebA와 MNIST를 포함한 네 개의 실제 데이터셋에서 고해상도이고 다양한 샘플을 생성한다.
• 잠재 공간 내의 보간 결과는 매끄럽고 구조적인 다각형을 보여주며, 효과적인 분리 가능성과 연속성을 시사한다.
• 잠재 코드에 대한 명시적 정규화가 없음에도 불구하고, 모델이 직접 진짜 잠재 분포를 학습함으로써 더 정확한 재구성을 이룬다.
• 제안된 방법은 재구성 정확도와 샘플 다양성의 균형을 고려할 때 VAE와 GAN 모두를 능가한다.