[논문 리뷰] MatchGAN: A Self-Supervised Semi-Supervised Conditional Generative Adversarial Network

Jiaze Sun, Binod Bhattarai외 1명|arXiv (Cornell University)|2020. 06. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 5

한 줄 요약

MatchGAN은 레이블 공간 증강을 활용하여 합성 훈련 예제를 생성하는 자기지도 학습을 통한 반지도 학습 조건부 GAN을 제안한다. 이는 최소한의 레이블 데이터로도 성능 향상을 이룬다. 비레이블 이미지에 무작위로 샘플된 타깃 레이블을 부여하고, 판별기에서 삼중조합 일치 손실을 훈련시킴으로써 MatchGAN은 최신 기술 수준의 성능을 달성한다 — CelebA와 RaFD에서 레이블 데이터의 20%만으로도 전면 지도 학습 기준을 초월한다.

ABSTRACT

We present a novel self-supervised learning approach for conditional generative adversarial networks (GANs) under a semi-supervised setting. Unlike prior self-supervised approaches which often involve geometric augmentations on the image space such as predicting rotation angles, our pretext task leverages the label space. We perform augmentation by randomly sampling sensible labels from the label space of the few labelled examples available and assigning them as target labels to the abundant unlabelled examples from the same distribution as that of the labelled ones. The images are then translated and grouped into positive and negative pairs by their target labels, acting as training examples for our pretext task which involves optimising an auxiliary match loss on the discriminator's side. We tested our method on two challenging benchmarks, CelebA and RaFD, and evaluated the results using standard metrics including Fréchet Inception Distance, Inception Score, and Attribute Classification Rate. Extensive empirical evaluation demonstrates the effectiveness of our proposed method over competitive baselines and existing arts. In particular, our method surpasses the baseline with only 20% of the labelled examples used to train the baseline.

연구 동기 및 목표

• 얼굴 속성 및 표정 편집에서 중요한 장벽이 되는 제한된 레이블 데이터로 조건부 GAN을 훈련하는 문제를 해결한다.
• 기하학적 이미지 증강에 의존하는 기존 자기지도 학습 방법의 한계를 극복한다. 이러한 방법은 새로운 클래스 조건부 예제를 생성하지 못한다.
• 레이블 공간 조작 기반의 새로운 사전 과제를 도입함으로써 반지도 학습 GAN 훈련의 일반화 능력을 향상시키고 과적합을 줄인다.
• 비레이블 데이터에 합성 타깃 레이블을 할당하고, 분류 일치 목표를 훈련시킴으로써 효과적인 데이터 증강을 가능하게 한다.

제안 방법

• 레이블 데이터와 동일한 분포에서 유래한 비레이블 이미지에 레이블 공간에서 무작위로 샘플된 타깃 레이블을 할당하여 합성 훈련 예제를 생성한다.
• 소스 이미지, 타깃 레이블이 할당된 생성 이미지, 다른 타깃 레이블이 할당된 다른 생성 이미지를 포함하는 삼중조합을 구성하여 생성기와 판별기를 훈련한다.
• 결합된 임베딩에 대해 학습된 컨볼루션 헤드를 사용하여 이미지 쌍을 동일한 타깃 레이블(긍정) 또는 다른 타깃 레이블(부정)으로 분류하는 보조 일치 손실을 도입한다.
• 허프만 손실이나 유클리드 손실 대신 교차 엔트로피 손실을 사용하여 일치 손실을 최적화함으로써 더 정확한 확률 추정과 더 나은 분류 성능을 달성한다.
• 실제 이미지 삼중조합(작은 레이블 데이터 세트에서 유래)과 합성 삼중조합(비레이블 데이터에서 유래)을 모두 사용하여 판별기를 훈련함으로써 실재 예제에서 합성 예제로의 지식 전이를 가능하게 한다.
• 일치 손실을 표준 GAN 목표와 통합함으로써 추가적인 감독 없이도 분리된, 클래스 조건부 표현을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 레이블 공간 증강 기반 자기지도 학습이 제한된 레이블 데이터로 반지도 학습 설정에서 조건부 GAN의 성능 향상에 기여할 수 있는가?
• RQ2 레이블 공간 조작을 통한 합성 예제를 사용할 경우 기하학적 증강 기반 자기지도 학습에 비해 더 나은 일반화 능력과 과적합 감소를 달성할 수 있는가?
• RQ3 학습된 임베딩 비교 기반의 일치 손실이 고해상도, 속성 제어가 가능한 이미지를 생성하는 데 있어 표준 GAN 손실을 능가할 수 있는가?
• RQ4 MatchGAN은 얼굴 속성 및 표정 편집 작업에서 대규모 레이블 데이터 세트의 필요성을 어느 정도 줄일 수 있는가?

주요 결과

• CelebA에서 MatchGAN은 레이블 데이터의 20%만으로도 전면 지도 학습 기준을 초월한다. FID는 6.34로 기준의 6.65보다 낮다.
• RaFD에서 MatchGAN은 20% 레이블 데이터로 FID 6.65를 기록했으며, 기준의 7.24와 100% 지도 학습 기반의 회전 기반 방법의 6.57을 모두 상회한다.
• CelebA에서 MatchGAN은 20% 데이터로 3.03의 Inception Score를 기록했고, 기준의 3.01(100% 데이터)을 초월하여 더 나은 샘플 품질과 다양성을 보였다.
• CelebA에서 GAN-학습 분류 정확도는 MatchGAN이 87.43%를 기록했고, 기준은 87.29%였다. RaFD에서는 MatchGAN이 97.78%를 기록했고, 기준은 95.00%였다. 이는 더 나은 후속 분류기 성능을 보여준다.
• 정성적 결과에서는 MatchGAN이 기준보다 더 선명하고 일관성 있는 이미지를 생성하며, 특히 저자료 환경에서 더 적은 잡음과 기능을 보였다.
• 모델 성능은 레이블 데이터가 많아질수록 크게 향상되었으며, 20% 레이블 데이터로도 MatchGAN의 결과가 기준의 100% 성능을 충족하거나 초월하는 시각적 품질과 속성 일관성으로 나타났다.