[논문 리뷰] Autoencoding beyond pixels using a learned similarity metric

Anders Larsen, Søren Kaae Sønderby외 2명|arXiv (Cornell University)|2015. 12. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 663

한 줄 요약

이 논문은 요소별 재구성 손실 대신 GAN 판별기에서 학습된 특징 기반 유사도 메트릭을 사용하는 하이브리드 VAE/GAN 모델을 제안하며, 이미지 생성 품질과 분리된 표현 학습을 크게 향상시킨다. 고수준 특징 표현을 재구성에 활용함으로써 비지도 이미지 생성에서 최신 기술 수준의 시각적 정확도를 달성하며, 잠재 공간에서 의미 있는 연산을 통해 속성 조작이 가능하다.

ABSTRACT

We present an autoencoder that leverages learned representations to better measure similarities in data space. By combining a variational autoencoder with a generative adversarial network we can use learned feature representations in the GAN discriminator as basis for the VAE reconstruction objective. Thereby, we replace element-wise errors with feature-wise errors to better capture the data distribution while offering invariance towards e.g. translation. We apply our method to images of faces and show that it outperforms VAEs with element-wise similarity measures in terms of visual fidelity. Moreover, we show that the method learns an embedding in which high-level abstract visual features (e.g. wearing glasses) can be modified using simple arithmetic.

연구 동기 및 목표

• 요소별 재구성 메트릭이 이동과 같은 시각적 불변성을 포착하지 못하는 VAE의 한계를 해결하기 위해.
• 픽셀 수준의 차이가 아닌 고수준 시각적 구조를 반영하는 유사도 메트릭을 학습하여 생성 모델링을 향상시키기 위해.
• 감독 없이도 잠재 공간에서 의미 있는 연산이 가능하도록 분리된 표현 학습을 가능하게 하기 위해.
• VAE의 구조적 잠재 인코딩과 GAN의 고품질 생성 능력을 융합한 통합된 비지도 프레임워크를 구축하기 위해.

제안 방법

• 변동형 오토인코더(VAE)와 생성적 적대적 네트워크(GAN)를 결합하기 위해 디코더/생성기 네트워크 파라미터를 공유한다.
• VAE의 표준 픽셀 기반 재구성 손실을 GAN 판별기의 은닉층 표현 기반의 특징 기반 재구성 손실로 대체한다.
• GAN 판별기의 중간 특징을 학습된 유사도 메트릭으로 사용하여, 실제 이미지와 재구성된 이미지 간의 특징 수준의 가능도를 모델링한다.
• 재구성(특징 수준 가능도 기반)과 적대적 판별를 동시에 최적화하는 하이브리드 목적함수를 사용해 VAE와 GAN을 함께 훈련한다.
• 판별기의 특징에 가우시안 관측 모델을 적용하며, 평균은 재구성된 샘플의 특징 표현이 된다.
• 결과로 도출된 손실을 사용해 인코더와 공유된 디코더/생성기를 비지도 방식으로 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 특징 기반의 학습된 유사도 메트릭이 픽셀 수준 오차를 넘어서 VAE 재구성 품질을 향상시킬 수 있는가?
• RQ2 VAE와 GAN 훈련을 융합하면 더 나은 생성 이미지 품질과 분리된 표현을 달성할 수 있는가?
• RQ3 제안된 모델의 잠재 공간이 고수준 시각적 속성의 변화를 반영하는 의미 있는 산술 연산을 지원할 수 있는가?
• RQ4 GAN 판별기의 특징 공간은 이미지 재구성에서 시각적으로 의미 있는 유사도 메트릭으로 적합한가?
• RQ5 이 방법은 GAN 수준의 성능을 달성하면서도 VAE의 데이터 인코딩 및 디코딩 능력을 유지할 수 있는가?

주요 결과

• VAE/GAN 모델은 픽셀 기반 재구성 손실을 사용하는 표준 VAE보다 훨씬 높은 시각적 정확도를 갖는 이미지 샘플을 생성한다.
• 모델은 잠재 코드의 산술 연산이 안경 착용 여부나 표정 변화와 같은 의미 있는 시각적 속성 변화를 반영하는 분리된 잠재 표현을 학습한다.
• 이 방법은 GAN과 경쟁 수준의 높은 시각적 품질을 달성하면서도 구조적인 잠재 공간을 유지하여 비지도 이미지 생성 분야에서 최신 기술 수준의 성능을 기록한다.
• GAN 판별기의 특징 표현은 이동과 같은 시각적 불변성을 포착하는 효과적인 학습된 유사도 메트릭으로 기능한다.
• LFW 데이터셋의 속성 벡터를 기반으로 조건부 이미지 생성이 가능하며, 표준 VAE보다 속성 인식 정확도가 향상된다.