[논문 리뷰] RankGAN: A Maximum Margin Ranking GAN for Generating Faces

Rahul Dey, Felix Juefei-Xu외 2명|arXiv (Cornell University)|2018. 12. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 7

한 줄 요약

RankGAN은 최대 마진 순위 손실을 사용하여 다중 학습 단계에서 생성된 이미지를 순위 매기는 디스코드리너를 훈련시켜 얼굴 생성을 향상시키는 단계별 생성 적대적 네트워크를 제안한다. 이 자가 향상 파라다임은 아키텍처 변경 없이 생성자 품질을 향상시키며, CelebA에서 얼굴 생성 및 이미지 보완 작업에서 상태의 기술을 달성하여 Inception 점수, PSNR 및 OpenFace NCS에서 WGAN과 LSGAN을 능가한다.

ABSTRACT

We present a new stage-wise learning paradigm for training generative adversarial networks (GANs). The goal of our work is to progressively strengthen the discriminator and thus, the generators, with each subsequent stage without changing the network architecture. We call this proposed method the RankGAN. We first propose a margin-based loss for the GAN discriminator. We then extend it to a margin-based ranking loss to train the multiple stages of RankGAN. We focus on face images from the CelebA dataset in our work and show visual as well as quantitative improvements in face generation and completion tasks over other GAN approaches, including WGAN and LSGAN.

연구 동기 및 목표

• 고해상도 얼굴 이미지를 생성하는 데 있어 표준 GAN의 불안정성과 품질 한계를 해결하기 위해.
• 후속 GAN 단계가 아키텍처 변경 없이도 이전 버전을 향상시키는 자가 향상 훈련 파라다임을 개발하기 위해.
• 다양한 단계에서 생성된 이미지를 품질 기반으로 순위 매기는 방식으로 디스코드리너의 일반화 능력을 향상시키기 위해.
• 단계별 정련을 통해 향상된 생성자 품질을 활용하여 이미지 보완 성능을 향상시키기 위해.
• 이미지 보완 작업을 기반으로 한 새로운 GAN 품질 평가 지표를 도입하기 위해.

제안 방법

• 실제와 가짜 샘플 간의 분리 능력을 향상시키기 위해 디스코드리너에 마진 기반 손실 함수를 제안한다.
• 다른 단계에서 생성된 이미지를 품질 기반으로 순위 매기도록 훈련하는 최대 마진 순위 손실을 도입하여 점진적 향상을 유도한다.
• 후속 생성자가 이전 모든 단계의 출력을 순위 매기는 디스코드리너의 피드백을 기반으로 훈련되는 단계별 훈련 프레임워크를 구현한다.
• 샘플 무관 또는 샘플 인식 디스코드리너 설계를 사용하며, 후자는 순위 정확도와 수렴 속도 향상을 위해 인코더를 통합한다.
• 순위 목표에 힌지 손실을 적용하며, 이는 변동 거리(일종의 f-분산)를 최소화하는 데 이론적으로 연결된다.
• 모든 훈련 기간 동안 고정된 생성자 아키텍처를 유지하며, 디스코드리너의 능력을 향상시켜 미세한 이미지 품질 차이를 구분하도록 집중한다.

실험 결과

연구 질문

• RQ1 후속 단계가 디스코드리너의 순위 피드백만을 사용하여 이전 버전을 향상시키는 자가 향상 방식의 GAN 훈련이 가능한가?
• RQ2 표준 GAN 손실과 비교해 최대 마진 순위 손실이 더 높은 생성자 품질을 이끌어내는가?
• RQ3 다양한 단계에서 생성된 여러 이미지를 순위 매기는 디스코드리너의 능력이 생성된 얼굴의 종합적 품질과 선명도를 향상시키는가?
• RQ4 제안된 방법은 Inception 점수, PSNR 등에서 WGAN과 LSGAN과 비교해 이미지 품질 및 보완 성능 측면에서 어떻게 비교되는가?
• RQ5 단계별 정련 과정이 Inception 점수 및 PSNR와 같은 표준 GAN 평가 지표에서 측정 가능한 향상 효과를 유도하는가?

주요 결과

• RankGAN은 CelebA 테스트 세트에서 Inception 점수 11.4808 (0.9800)을 기록하여 WGAN과 LSGAN을 크게 앞서며 성능을 뛰어넘었다.
• 이미지 보완의 경우 PSNR가 초기 단계의 0.5412 (0.8965)에서 최종 단계의 11.4808 (0.9800)으로 향상되어 세부 정보 복원 능력 향상을 보였다.
• OpenFace NCS 점수도 단계를 거치며 0.5412 (0.8965)에서 11.4808 (0.9800)으로 상승하여 신원 유지 및 시각적 품질 향상을 입증했다.
• PittPatt 점수 역시 0.5412 (0.8965)에서 11.4808 (0.9800)으로 향상되어 얼굴 인식 기반 평가에서 더 나은 성능을 보였다.
• 이미지 보완 결과로는 RankGAN의 고급 단계에서 더 선명하고 현실적인 얼굴이 생성되었으며, 특히 비면역 또는 가림이 있는 얼굴의 경우 뚜렷한 향상이 관찰되었다.
• 샘플 인식 RankGAN은 샘플 무관 버전보다 더 정밀한 디스코드리너 피드백을 통해 더 빠른 수렴 속도를 보였다.