[논문 리뷰] MatchingGAN: Matching-based Few-shot Image Generation

Yan Hong, Li Niu외 2명|arXiv (Cornell University)|2020. 03. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 4

한 줄 요약

MatchingGAN은 소수의 참조 이미지당 몇 장의 이미지만으로 다양하고 현실적인 이미지를 생성할 수 있는 few-shot 이미지 생성 프레임워크를 제안한다. 각 카테고리의 랜덤 벡터와 조건부 이미지 간의 특징 매칭을 통해 보간 계수를 학습함으로써, 미리 테스트된 카테고리에 대해 미세조정 없이도 고품질이고 다양한 이미지를 생성할 수 있다.

ABSTRACT

To generate new images for a given category, most deep generative models require abundant training images from this category, which are often too expensive to acquire. To achieve the goal of generation based on only a few images, we propose matching-based Generative Adversarial Network (GAN) for few-shot generation, which includes a matching generator and a matching discriminator. Matching generator can match random vectors with a few conditional images from the same category and generate new images for this category based on the fused features. The matching discriminator extends conventional GAN discriminator by matching the feature of generated image with the fused feature of conditional images. Extensive experiments on three datasets demonstrate the effectiveness of our proposed method.

연구 동기 및 목표

• 소수의 훈련 이미지만 존재할 때 미리 보지 않은 카테고리에 대해 현실적인 이미지를 생성하는 문제에 대응한다.
• 기존의 소수의 이미지 생성 방법에서의 한계, 즉 낮은 이미지 품질, 다양성 부족, 또는 미세조정에 대한 의존성 문제를 해결한다.
• 참조 이미지와 랜덤 노이즈 사이의 의미 있는 보간 계수를 학습하기 위해 매칭 기반 특징 정렬을 활용한다.
• 생성자와 판별자 양쪽에 매칭 절차를 통합하여 향상된 특징 일관성과 현실감을 확보하는 새로운 GAN 아키텍처를 설계한다.
• 테스트 데이터에 대해 재학습이나 미세조정 없이도 새로운 카테고리로의 제로샷 일반화를 가능하게 한다.

제안 방법

• 랜덤 벡터와 조건부 이미지를 동일한 특징 공간으로 매핑하는 매칭 생성자를 제안하며, 유사도 점수를 보간 계수로 삼아 특징을 융합한다.
• 실제 이미지와 가짜 이미지를 구분할 뿐 아니라, 생성된 이미지의 분류 특징을 조건부 이미지의 융합 특징과 매칭하는 매칭 판별자를 사용한다.
• 재구성과 현실감 간의 트레이드오프를 조정하는 하이퍼파라미터 λr 및 λm를 사용하여, 적대적 손실과 특징 매칭 손실을 함께 최적화하여 생성자와 판별자를 종합적으로 훈련한다.
• 효율성과 안정성을 위해 인코더 파라미터 Eϕ 및 Eψ를 공유하며, 인코더와 디코더 사이에 스킵 연결을 도입하여 다중 수준의 특징을 유지한다.
• 랜덤 샘플링에 의존하는 대신, 매칭 절차를 통해 보간 가중치를 학습함으로써 특징 융합 품질을 향상시킨다.
• 학습된 모델을 추론 단계에서 활용하여, 새로운 랜덤 벡터를 매칭 생성자에 입력함으로써 미리 보지 않은 카테고리에 대해 다양한 이미지를 생성한다.

실험 결과

연구 질문

• RQ1 랜덤 보간과 비교했을 때, 매칭 기반 메커니즘이 소수의 이미지 생성 품질과 다양성에 기여하는가?
• RQ2 생성자와 판별자 양쪽에 특징 매칭을 통합함으로써 생성된 이미지와 조건부 參照 이미지 간의 일치도가 향상되는가?
• RQ3 제안된 MatchingGAN은 미세조정 없이도 소수의 참조 이미지만으로도 새로운 카테고리로 일반화 가능한가?
• RQ4 스킵 연결 수와 인코더 공유와 같은 설계 선택 사항이 생성 성능과 다양성에 어떤 영향을 미치는가?
• RQ5 소수의 이미지 생성에서 적대적 손실과 특징 매칭 손실 간의 최적의 트레이드오프는 무엇인가?

주요 결과

• MatchingGAN은 K=3일 때 VGGFace 데이터셋에서 40.95%의 테스트 정확도를 기록하며, 랜덤 계수 기반 베이스라인(38.12%)을 초월하여 학습된 보간의 유용성을 입증한다.
• 특징 매칭 손실 가중치 λm=0으로 설정할 경우 성능이 심각하게 저하되며, FID는 108.56에서 111.40으로 증가하고 IS는 8.32에서 7.56으로 감소하여 특징 매칭의 중요성을 입증한다.
• 세 개의 스킵 연결을 사용할 경우 IS(9.14)는 증가하고 FID(106.12)는 감소하지만, 저자료 분류 정확도는 34.12%로 저하되어 현실감과 다양성 간의 트레이드오프를 보여준다.
• 공유 인코더(Eϕ 및 Eψ)를 사용한 모델은 40.95%의 정확도를 달성했고, 별도의 인코더를 사용한 경우는 40.98%의 정확도를 기록하며 FID는 약간 더 낮은 107.98을 기록했지만, 더 많은 파라미터로도 유의미한 성능 향상이 없음을 보여, 공유 인코더의 효율성을 확인한다.
• 제거 실험을 통해 λr=0.1이 재구성과 적대적 손실 간의 최적 균형을 이룬다는 것을 확인했으며, λr=1.0 및 λr=10.0은 모든 지표에서 열악한 성능을 보였다.
• Omniglot, EMNIST 및 VGGFace에서의 정성적 결과는, 새로운 카테고리에 대해서도 참조 이미지와 의미적으로 일관되며 다양하고 현실적인 생성 이미지를 제공함을 보여준다.