[논문 리뷰] Robust Conditional Generative Adversarial Networks

Grigorios G. Chrysos, Jean Kossaifi외 1명|arXiv (Cornell University)|2018. 09. 27.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 노이즈 조건 하에서 생성기의 신뢰성을 향상시키기 위해 타깃 매니폴드의 구조를 유지하는 비지도 경로를 도입한 강건한 조건부 GAN인 RoCGAN을 제안한다. 잠재 공간의 구조를 활용함으로써 RoCGAN은 자연 이미지 및 얼굴 이미지 분야에서 최신 기술보다 뛰어난 성능을 달성하며, 생성 품질을 희생시키지 않은 채 강건성을 향상시킨다.

ABSTRACT

Conditional generative adversarial networks (cGAN) have led to large improvements in the task of conditional image generation, which lies at the heart of computer vision. The major focus so far has been on performance improvement, while there has been little effort in making cGAN more robust to noise. The regression (of the generator) might lead to arbitrarily large errors in the output, which makes cGAN unreliable for real-world applications. In this work, we introduce a novel conditional GAN model, called RoCGAN, which leverages structure in the target space of the model to address the issue. Our model augments the generator with an unsupervised pathway, which promotes the outputs of the generator to span the target manifold even in the presence of intense noise. We prove that RoCGAN share similar theoretical properties as GAN and experimentally verify that our model outperforms existing state-of-the-art cGAN architectures by a large margin in a variety of domains including images from natural scenes and faces.

연구 동기 및 목표

• 노이즈가 있는 입력 조건 하에서 조건부 GAN의 강건성 부족 문제를 해결하기 위해.
• 노이즈가 존재하더라도 타깃 매니폴드의 구조를 유지함으로써 생성기 출력의 신뢰성을 향상시키기 위해.
• 강한 노이즈 조건 하에서도 높은 성능을 유지하는 cGAN 아키텍처를 개발하여 실생활 적용 가능성을 확보하기 위해.
• 표준 GAN과 이론적으로 동치임을 입증하면서도 실용적 강건성을 향상시키기 위해.
• 다양한 이미지 생성 도메인에서 기존 최고 수준의 cGAN 모델을 능가하는 성능을 내기 위해.

제안 방법

• 생성기 내에 타깃 매니폴드의 구조를 유지하는 비지도 경로를 도입하여 출력을 이끌어내는 방법을 제안한다.
• 라벨이 필요 없이 데이터 분포로부터 학습하는 구조 인식 컴포넌트를 조건부 생성기에 통합한다.
• 타깃 공간 내부의 본질적 구조를 활용하여 생성기 출력을 정규화하고 노이즈 하에서 오류 전파를 제한한다.
• 기존 GAN의 적대적 훈련 프레임워크를 유지하면서도 비지도 경로를 통해 구조적 인도적 편향을 추가한다.
• 적대적 손실와 매니폴드 유지 정규화를 결합한 수정된 손실 함수를 사용한다.
• 이론적 분석을 통해 RoCGAN이 표준 GAN의 핵심 성질(예: 온건한 가정 하에서 수렴성)을 그대로 유지함을 확인한다.

실험 결과

연구 질문

• RQ1 입력 노이즈에 강건하면서도 고해상도 생성을 유지할 수 있는 조건부 GAN을 설계할 수 있는가?
• RQ2 타깃 공간 내 비지도 구조를 통합할 경우 생성기의 안정성은 어떻게 향상되는가?
• RQ3 제안된 RoCGAN 모델은 노이즈 하에서도 표준 GAN의 이론적 성질을 유지하는가?
• RQ4 다양한 도메인에서 RoCGAN은 최신 기술 수준의 cGAN과 비교해 강건성과 성능 면에서 어떻게 다른가?
• RQ5 비지도 경로는 강한 노이즈 조건 하에서도 생성기를 타깃 매니폴드를 덮을 수 있도록 효과적으로 이끌 수 있는가?

주요 결과

• RoCGAN은 노이즈 조건 하에서 기존 최고 수준의 cGAN 아키텍처보다 이미지 생성 품질 면에서 뚜렷한 승리를 거두었다.
• 입력 노이즈가 심할 경우에도 고해상도 출력을 유지하여 더 뛰어난 강건성을 입증했다.
• 실증 결과는 자연 풍경 이미지 및 얼굴 이미지 생성 작업 전반에서 일관된 성능 향상을 보였다.
• 비지도 경로가 효과적으로 생성기 출력이 타깃 매니폴드에 정렬되도록 유도하여 임의의 오류를 감소시켰다.
• 이론적 분석을 통해 RoCGAN이 표준 GAN의 핵심 수렴성 및 안정성 성질을 그대로 이어받음을 확인했다.
• 실험을 통해 RoCGAN이 생성 품질이나 훈련 안정성에 손상을 주지 않은 채 더 뛰어난 강건성을 확보함을 검증했다.