[논문 리뷰] Rethinking conditional GAN training: An approach using geometrically structured latent manifolds

Sameera Ramasinghe, Moshiur Farazi외 3명|arXiv (Cornell University)|2020. 11. 25.

Cell Image Analysis Techniques인용 수 4

한 줄 요약

이 논문은 아키텍처 변경 없이도 샘플의 다양성과 시각적 품질을 크게 향상시키는 기하학적 구조를 가진 조건부 GAN 훈련 방법을 제안한다. 이는 은닉 공간과 출력 다양체 사이의 이중리프시츠 맵핑을 강제함으로써 달성되며, 훈련 목표를 단지 표준 적대적 손실을 기하학적 인식 손실로 대체함으로써, Pix2Pix-Geo라는 새로운 방법이 이미지 간 번역 작업에서 최신 기술 수준의 성능을 달성한다. 이는 다양체의 기하학적 구조를 유지한다.

ABSTRACT

Conditional GANs (cGAN), in their rudimentary form, suffer from critical drawbacks such as the lack of diversity in generated outputs and distortion between the latent and output manifolds. Although efforts have been made to improve results, they can suffer from unpleasant side-effects such as the topology mismatch between latent and output spaces. In contrast, we tackle this problem from a geometrical perspective and propose a novel training mechanism that increases both the diversity and the visual quality of a vanilla cGAN, by systematically encouraging a bi-lipschitz mapping between the latent and the output manifolds. We validate the efficacy of our solution on a baseline cGAN (i.e., Pix2Pix) which lacks diversity, and show that by only modifying its training mechanism (i.e., with our proposed Pix2Pix-Geo), one can achieve more diverse and realistic outputs on a broad set of image-to-image translation tasks. Codes are available at https://github.com/samgregoost/Rethinking-CGANs.

연구 동기 및 목표

• 기본 조건부 GAN(cGAN)에서의 다양성 부족과 다양체 왜곡 문제를 해결하기 위해, 특히 이미지 간 번역 작업에서.
• 은닉 공간과 출력 다양체 사이의 위상 일치 문제를 해결하기 위해, 은닉 공간 내 유클리드 경로가 생성된 다양체 상의 지오데식선과 일치하지 않는 문제를 해결하기 위해.
• 드롭아웃을 초월한 생성자 확률성 향상을 위해 생성자가 임의의 노이즈를 진정으로 활용하도록 보장하기 위해.
• 적대적 손실과 재구성 목표 간의 손실 불일치 문제를 해결하기 위해, 이는 시각적 품질과 다양성에 악영향을 미친다.
• 아키텍처의 복잡성 없이 최적화 방법의 수정만으로도 성능 향상을 달성할 수 있음을 보여주기 위해.

제안 방법

• 은닉 공간과 출력 다양체 사이에 이중리프시츠 맵핑을 강제하는 새로운 훈련 목표를 도입하여 기하학적 구조를 유지한다.
• cGAN에서 표준 적대적 손실을 은닉 공간 내 유클리드 경로가 출력 다양체 상의 지오데식선과 일치하도록 조정하는 기하학적 인식 손실로 대체한다.
• 특징 재구성 손실, 스타일 손실, 총 변동 손실을 조합한 수정된 목표 함수를 사용하여 훈련 안정성과 기하학적 정확도를 유지한다.
• 기본 Pix2Pix 모델에 이 방법을 적용하여 아키텍처 변경 없이 훈련 절차만 수정한 새로운 버전인 Pix2Pix-Geo를 개발한다.
• 최적화를 통해 은닉 다양체와 출력 다양체 사이의 연속성과 일대일 대응성을 강제하여, 은닉 공간의 조작이 의미 있는 부드러운 보간을 유도하도록 한다.
• 스케치 → 얼굴, 에지 → 신발, 세그멘테이션 → 얼굴 등 다양한 이미지 간 번역 작업에서 정성적 및 정량적 평가를 통해 접근법을 검증한다.

실험 결과

연구 질문

• RQ1 기하학적으로 구조화된 은닉 다양체는 아키텍처 변경 없이도 조건부 GAN의 다양성과 시각적 품질을 향상시킬 수 있는가?
• RQ2 은닉 다양체와 출력 다양체 사이에 이중리프시츠 맵핑을 강제하면 위상 불일치 문제를 줄이고 보간 품질을 향상시킬 수 있는가?
• RQ3 기하학적 인식 훈련 목표를 통해 적대적 손실과 재구성 목표 간의 손실 불일치 문제를 완화할 수 있는가?
• RQ4 제안된 방법은 더 복잡한 최신 기술 수준의 모델보다 이미지 간 번역 벤치마크에서 성능이 뛰어나게 되는가?
• RQ5 생성자가 드롭아웃 외에 임의의 노이즈를 진정으로 활용하도록 만들 수 있는가, 즉 확률적 출력을 위해 노이즈를 진정으로 활용하도록 할 수 있는가?

주요 결과

• Pix2Pix-Geo는 아키텍처 변경 없이도 원래 Pix2Pix보다 훨씬 높은 출력 다양성을 달성한다.
• 은닉 코드 간의 보간이 더 부드럽고 의미 있는 결과를 보이며, 이는 은닉 공간 내 기하학적 구조 향상의 증거이다.
• 시각적 품질이 향상되어 생성된 이미지에 더 적은 잡음과 입력 조건에 더 잘 부합하는 결과를 보인다.
• 스케치 → 얼굴, 스케치 → 신발, 레이블 → 페이사드 등 여러 이미지 간 번역 작업에서 Pix2Pix-Geo는 더 복잡한 최신 기술 수준의 모델과 동등하거나 그 이상의 성능을 보였다.
• 드롭아웃에 의존하는 정도를 줄였으며, 생성자가 이제 진정으로 임의의 노이즈를 활용하여 다양한 출력을 생성한다.
• 이 방법은 일반적이며 어떤 기본 cGAN에도 적용 가능하다. 세그멘테이션 → 얼굴 및 에지 → 얼굴 작업에 대한 성공적인 적용을 통해 이를 입증했다.