[논문 리뷰] Generative adversarial interpolative autoencoding: adversarial training on latent space interpolations encourage convex latent distributions

Tim Sainburg, Marvin Thielk외 3명|arXiv (Cornell University)|2018. 07. 17.

Advanced Image Processing Techniques참고 문헌 40인용 수 43

한 줄 요약

GAIA는 오토인코더와 GAN 요소를 결합하여 잠재 공간 보간(interpolations)에서 학습하고, 볼록한 잠재 분포와 양방향 매핑으로 교차 공간의 현실적인 재구성을 촉진한다.

ABSTRACT

We present a neural network architecture based upon the Autoencoder (AE) and Generative Adversarial Network (GAN) that promotes a convex latent distribution by training adversarially on latent space interpolations. By using an AE as both the generator and discriminator of a GAN, we pass a pixel-wise error function across the discriminator, yielding an AE which produces non-blurry samples that match both high- and low-level features of the original images. Interpolations between images in this space remain within the latent-space distribution of real images as trained by the discriminator, and therfore preserve realistic resemblances to the network inputs. Code available at https://github.com/timsainb/GAIA

연구 동기 및 목표

• 지각 및 심리물리 표현을 탐구하기 위한 생성 모델링의 동기를 부여한다.
• 보간(interpolations)을 적대적 학습으로 훈련시켜 잠재 공간의 볼록성을 촉진한다.
• 판별기를 통한 픽셀-단위 재구성을 통해 X↔Z 양방향 매핑을 달성한다.
• 선명하고 현실적인 샘플을 유지하면서 잠재 공간의 고차원 구조를 보존한다.

제안 방법

• GAN 프레임워크 내에서 오토인코더를 생성기와 판별기로 모두 사용한다.
• 판별기를 통과하는 픽셀 단위(L1) 손실로 학습하여 흐림을 줄인다.
• 잠재 공간(z_int)의 보간에 대해 학습하여 잠재 샘플의 볼록 결합에서 현실성을 강제한다.
• X와 Z의 대응되는 쌍 간 거리를 정렬하는 다차원 스케일링(style) 스타일의 거리 보존 정규화를 도입한다.
• GAIA를 2D 데이터셋과 CELEBA-HQ에서 AE 및 VAE와 비교하고, 보간의 현실성과 잠재 공간 구조를 평가한다.

실험 결과

연구 질문

• RQ1 잠재 공간 보간에 대한 적대적 학습이 볼록한 잠재 분포를 만들어 보간으로부터 현실적인 샘플을 산출하는가?
• RQ2 GAIA가 높은 차원 구조를 보존하면서 선명한 샘플을 제공하는 X↔Z 양방향 매핑을 달성할 수 있는가?
• RQ3 저차원 및 고차원 데이터셋에서 보간의 현실성과 잠재 공간 구조 측면에서 GAIA의 성능은 AE 및 VAE에 비해 어떤가?
• RQ4 GAIA의 잠재 공간 보간이 표준 AE나 VAE보다 실제 데이터 분포 안에 더 자주 위치하는가?
• RQ5 다른 생성 모델과 유사하게 GAIA의 잠재 공간에서 고수준 속성을 선형적으로 조작할 수 있는가?

주요 결과

• GAIA 보간(Gd( z_int ))은 AE 및 VAE에 비해 2D 데이터셋에서 데이터 분포 내부에 있을 확률이 가장 높다.
• 거리 손실을 사용하는 GAIA는 AE나 VAE보다 쌍 간 X와 Z 거리 간의 대응을 더 강하게 유지한다.
• GAIA는 픽셀 단위 손실을 판별기를 통해 전달받아 샤프하고 흐림 없는 재구성을 만들면서 고차원 구조를 보존한다.
• 2D 데이터셋에서 GAIA의 보간 샘플은 보간을 투영하는 데 VAE만큼 효과적으로 진짜 데이터 분포에 부합하고, 원래 데이터 구조를 존중한다.
• GAIA는 현실적인 잠재 공간 보간을 가능하게 하며 픽셀 수준의 재구성 샘플로 양방향 추론을 보여준다.