[논문 리뷰] Learning Inverse Mapping by Autoencoder based Generative Adversarial Nets

Junyu Luo, Yong Xu외 2명|arXiv (Cornell University)|2017. 03. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 10인용 수 5

한 줄 요약

이 논문은 이미지 공간에서 잠재 공간으로의 역함수 맵핑을 학습하기 위해 자동에코더 기반 방법인 AEGAN을 제안한다. 이는 역함수 생성기(IG)를 인코더로, 사전 훈련된 GAN 생성기를 디코더로 사용하여, 동일한 잠재 코드로부터 생성된 이미지 간의 재구성 손실을 최소화함으로써 기존의 역 GAN 모델에서 발생하는 훈련 불안정성과 낮은 상관관계 문제를 해결한다. 이로 인해 감독 없이도 이미지 검색 및 초해상도 분석에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The inverse mapping of GANs'(Generative Adversarial Nets) generator has a great potential value.Hence, some works have been developed to construct the inverse function of generator by directly learning or adversarial learning.While the results are encouraging, the problem is highly challenging and the existing ways of training inverse models of GANs have many disadvantages, such as hard to train or poor performance.Due to these reasons, we propose a new approach based on using inverse generator ($IG$) model as encoder and pre-trained generator ($G$) as decoder of an AutoEncoder network to train the $IG$ model. In the proposed model, the difference between the input and output, which are both the generated image of pre-trained GAN's generator, of AutoEncoder is directly minimized. The optimizing method can overcome the difficulty in training and inverse model of an non one-to-one function.We also applied the inverse model of GANs' generators to image searching and translation.The experimental results prove that the proposed approach works better than the traditional approaches in image searching.

연구 동기 및 목표

• GAN 생성기의 본질적인 다对다 및 비가역성으로 인해 발생하는 안정적이고 정확한 역모델 훈련 문제를 해결하기 위해.
• 기존 방법의 한계—낮은 재구성 품질, 레이블 데이터 의존성, 느린 최적화—를 자동에코더 아키텍처를 통해 극복하기 위해.
• 감독 미세조정 없이도 효과적인 이미지 검색 및 이미지 간 변환을 가능하게 하기 위해 학습된 역맵핑을 활용하기 위해.
• 역함수 생성기가 단어 임베딩과 유사한 의미적 풍부한 잠재 표현을 생성함으로써 후속 비전 작업에 유용한지를 입증하기 위해.

제안 방법

• AEGAN은 사전 훈련된 GAN 생성기를 디코더로 사용하고, 자동에코더 아키텍처에서 역함수 생성기(IG)를 인코더로 훈련한다.
• 동일한 잠재 코드로부터 생성된 이미지 간의 L2 손실을 최소화한다: $ \| G(IG(x)) - x \|_2^2 $, 여기서 $ x $는 진짜 이미지이고 $ G $는 사전 훈련된 생성기이다.
• 잠재 코드 $ z $ 의 직접 최적화를 피함으로써, 이전 방법에서 사용된 반복적 기울기 하강법이 필요 없는 문제를 해결한다.
• 생성기 고정 상태에서 인코더(IG)를 종단 간(end-to-end)으로 훈련함으로써, 진짜 이미지에서 해당 잠재 코드로의 역매핑을 가능하게 한다.
• 생성기와 판별기의 공동 훈련이 필요 없으므로, 사전 훈련된 GAN으로부터 역매핑을 학습할 수 있다.
• IG가 생성하는 의미적 풍부한 잠재 코드를 활용하여 이미지 검색 및 초해상도 분석에 응용한다.

실험 결과

연구 질문

• RQ1 자기에코더 기반 프레임워크는 적대적 또는 최적화 기반 접근법에 비해 역 GAN 모델링의 안정성과 품질을 향상시킬 수 있는가?
• RQ2 학습된 역맵핑이 이미지 검색 및 변환 작업에 유용한 고수준 의미적 특징을 유지하는가?
• RQ3 역함수 생성기가 블러나 색상 이동과 같은 이미지 손상에 대해 강건한 잠재 코드를 생성함으로써 비감독 초해상도 분석을 가능하게 할 수 있는가?
• RQ4 감독 없이도 AEGAN의 성능은 기존 해싱 방법(dHash 등)과 비교해 어떻게 되는가?
• RQ5 역모델을 얼마나 널리 활용하여 준감독 이미지 간 변환을 가능하게 할 수 있는가?

주요 결과

• AEGAN은 원본 이미지와의 dHash 유사도가 0.8266을 기록하여 직접 훈련(0.7944)과 BiGAN(0.6594)을 모두 초월하여 뛰어난 재구성 품질을 입증한다.
• 이미지 검색에서 AEGAN은 레이블 유사도 0.7918을 달성하여 dHash(0.7483)보다 유의미하게 높은 의미적 일치를 보이며, 성능 향상을 입증한다.
• 모델은 미세조정 없이도 블러 처리된 이미지를 날카로운 형태로 재구성하는 데 성공하여 초해상도 분석에서 강건성과 일반화 능력을 입증한다.
• 역함수 생성기는 얼굴 각도, 표정, 헤어스타일과 같은 핵심 얼굴 특징을 잘 포착하여 외관 변화가 있는 상황에서도 정확한 검색을 가능하게 한다.
• 생성기 유지 상태에서 인코더 부분만 조건부로 훈련함으로써 AEGAN은 비감독 이미지 간 변환을 가능하게 한다.
• 이 방법은 보편적으로 적용 가능하며 레이블 데이터가 필요 없어 대규모 오픈 도메인 비전 응용에 적합하다.