[논문 리뷰] Autoencoding Generative Adversarial Networks

Conor Lazarou|arXiv (Cornell University)|2020. 04. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 11인용 수 5

한 줄 요약

이 논문은 잠재 공간과 데이터 다양체 사이의 전단사 맵핑을 학습하기 위해 GAN과 오토인코더를 결합한 네 개의 네트워크로 구성된 Autoencoding Generative Adversarial Network(AEGAN)을 제안한다. 생성된 이미지와 잠재 벡터 양쪽에 대해 적대적 손실과 재구성 손실을 강제로 적용함으로써 AEGAN은 훈련을 안정화시키고 모드 붕괴를 방지하며, 실제 샘플 간 직접 보간을 가능하게 한다. 이는 개선된 샘플 품질과 구조적 일관성을 보여주는 애니메이션 얼굴 데이터셋에서 입증되었다.

ABSTRACT

In the years since Goodfellow et al. introduced Generative Adversarial Networks (GANs), there has been an explosion in the breadth and quality of generative model applications. Despite this work, GANs still have a long way to go before they see mainstream adoption, owing largely to their infamous training instability. Here I propose the Autoencoding Generative Adversarial Network (AEGAN), a four-network model which learns a bijective mapping between a specified latent space and a given sample space by applying an adversarial loss and a reconstruction loss to both the generated images and the generated latent vectors. The AEGAN technique offers several improvements to typical GAN training, including training stabilization, mode-collapse prevention, and permitting the direct interpolation between real samples. The effectiveness of the technique is illustrated using an anime face dataset.

연구 동기 및 목표

• 생성 모델링에서 지속적인 GAN 훈련 불안정성과 모드 붕괴 문제를 해결하기 위해.
• 데이터와 잠재 표현 간 전단사 맵핑을 학습함으로써 잠재 공간의 의미 있는 분석을 가능하게 하기 위해.
• 실제 데이터 샘플 간 직접 보간을 가능하게 하기 위해, 이를 해리된 연속적인 잠재 공간으로 인코딩함으로써.
• 오토인코더와 GAN의 강점을 융합하여 샘플 품질 향상과 훈련 안정성을 향상시키기 위해.
• 미래의 확장성과 적용을 고려해 고급 GAN 기법과 호환되는 프레임워크를 제공하기 위해.

제안 방법

• AEGAN 프레임워크는 인코더 E, 생성자 G, 데이터 공간에 대한 판별자 D_x, 그리고 잠재 공간에서 원래 데이터 공간으로 다시 매핑하는 역생성자 G_z로 구성된 네 개의 네트워크로 이루어져 있다.
• 생성된 이미지(G(E(x)) ≈ x)와 재구성된 잠재 벡터(E(G(z)) ≈ z) 양쪽에 재구성 손실을 강제로 적용함으로써, 양방향으로 정밀도를 확보한다.
• 모델은 생성자와 판별자를 최소화-최대화 게임 방식으로 훈련시키기 위해 적대적 손실을 사용하며, 실제 데이터 분포와 생성된 데이터 분포 사이의 젠슨-쇼넬 분산을 최소화한다.
• 훈련 목표는 적대적 손실과 재구성 손실을 하이퍼파라미터 λ_rx와 λ_rz를 통해 조절하여 각 항목의 기여도를 균형 잡는다.
• 이 아키텍처는 CycleGAN을 영감으로 삼지만, 두 번째 데이터 도메인 Y 대신 학습된 잠재 공간 Z를 사용함으로써 이를 일반화한다.
• 전단사 맵핑은 모든 실제 샘플이 고유한 잠재 벡터로 매핑되며, 그 반대로도 성립함을 보장하여, 가역적이고 해석 가능한 표현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 생성된 이미지와 잠재 벡터 양쪽에 재구성 제약 조건을 적용함으로써 GAN 기반 모델이 안정적인 훈련을 달성할 수 있는가?
• RQ2 양방향 재구성 강제 조건이 GAN 훈련 중 모드 붕괴를 방지하는가?
• RQ3 GAN 아키텍처에서 잠재 공간 조작을 통해 실제 데이터 샘플 간 직접 보간을 달성할 수 있는가?
• RQ4 오토인코딩 구성 요소의 포함이 표준 GAN과 비교해 샘플 품질에 어떤 영향을 미치는가?
• RQ5 전단사 맵핑이 잠재 공간에서 해리된 해석 가능한 표현을 얼마나 잘 가능하게 하는가?

주요 결과

• AEGAN은 300만 스텝 동안 안정적인 훈련을 달성했으며, 기준 GAN은 다섯 번의 독립적인 훈련 런 모두에서 완전한 모드 붕괴를 겪었다.
• AEGAN에서 재구성된 샘플은 표준 오토인코더보다 훨씬 덜 흐릿했으며, 머리카락 색상, 얼굴 형태, 눈 형태를 정확히 재현했다.
• 모델은 실제 애니메이션 얼굴 간 매끄러운 보간을 성공적으로 수행했으며, 머리카락 색상, 자세, 얼굴 특징의 전이가 대부분의 경우에 이상 없이 이루어졌다.
• 한계가 있었음에도 불구하고, AEGAN은 보간 중 눈 색상이 일관되게 유지되어 해당 특성에 대한 해리되지 않은 표현을 보여주었으며, 안경과 남성성 표현을 가진 얼굴의 재구성에 어려움을 겪었다.
• AEGAN의 생성자는 배치 정규화나 워샤프 손실과 같은 고급 기법에 의존하지 않고도 현실적인 샘플을 생성했으며, 이는 재구성 제약 조건이 내재된 안정성을 의미한다.
• 이 프레임워크는 스타일 기반 GAN 기법인 StyleGAN과도 호환되며, 제품 시각화와 같은 애플리케이션을 위해 조건부 잠재 공간으로 확장될 수 있다.