[논문 리뷰] DeltaGAN: Towards Diverse Few-shot Image Generation with Sample-Specific Delta

Yan Hong, Li Niu외 2명|arXiv (Cornell University)|2022. 07. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 79인용 수 4

한 줄 요약

DeltaGAN은 재구성 하위망과 생성 하위망을 사용하여 동일한 클래스의 지원 이미지 간의 변환 패턴인 샘플별 델타를 학습함으로써 다양성을 향상시키는 새로운 소수 샘플 이미지 생성 프레임워크를 제안한다. 적대적 델타 매칭 손실을 도입하여 소수 샘플 입력에서 다양하고 고품질의 이미지를 생성하며, 여섯 가지 벤치마크 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

Learning to generate new images for a novel category based on only a few images, named as few-shot image generation, has attracted increasing research interest. Several state-of-the-art works have yielded impressive results, but the diversity is still limited. In this work, we propose a novel Delta Generative Adversarial Network (DeltaGAN), which consists of a reconstruction subnetwork and a generation subnetwork. The reconstruction subnetwork captures intra-category transformation, i.e., delta, between same-category pairs. The generation subnetwork generates sample-specific delta for an input image, which is combined with this input image to generate a new image within the same category. Besides, an adversarial delta matching loss is designed to link the above two subnetworks together. Extensive experiments on six benchmark datasets demonstrate the effectiveness of our proposed method. Our code is available at https://github.com/bcmi/DeltaGAN-Few-Shot-Image-Generation.

연구 동기 및 목표

• 기존 소수 샘플 이미지 생성 방법은 재구성 성능는 뛰어나지만 다양성이 제한되어 있는 문제를 해결하기 위해.
• 동일 카테고리의 지원 이미지 간의 변환 델타를 학습하여 카테고리 내 변동성을 모델링하기 위해.
• 입력 지원 이미지에 샘플별 델타를 적용하여 다양하고 현실적인 이미지를 생성하기 위해.
• 재구성 및 생성 하위망을 적대적 델타 매칭 손실을 통해 통합하여 특징 정렬을 향상시키기 위해.

제안 방법

• 이 방법은 동일한 클래스에서 쌍의 지원 이미지 간의 카테고리 내 델타를 학습하는 재구성 하위망을 활용한다.
• 생성 하위망은 주어진 입력 이미지에 대해 샘플별 델타를 학습하고, 이를 적용하여 새로운 이미지를 생성한다.
• 생성된 델타가 재구성 하위망에서 얻은 실제 델타와 일치하도록 하는 적대적 델타 매칭 손실을 도입한다.
• 입력 이미지와 생성된 델타를 조합하여 동일 카테고리 내에서 다양하고 새로운 이미지를 합성한다.
• 재구성 및 적대적 목표를 모두 사용하여 소수 샘플 이미지 생성 벤치마크에서 엔드 투 엔드로 모델을 훈련한다.
• 성능과 다양성의 유효성을 검증하기 위해 프레임워크는 여섯 가지 표준 소수 샘플 이미지 생성 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 샘플별 델타를 학습함으로써 재구성 품질을 희생시키지 않고도 소수 샘플 이미지 생성의 다양성을 향상시킬 수 있는가?
• RQ2 적대적 델타 매칭이 생성된 델타와 실제 카테고리 내 변환 간의 일치를 얼마나 효과적으로 향상시키는가?
• RQ3 기존 최첨단 방법에 비해 DeltaGAN은 얼마나 더 우수한 성능을 보이며, 소수의 예시에서 다양하고 현실적인 이미지를 생성하는가?
• RQ4 재구성 및 생성 하위망은 델타 표현에 대한 적대적 손실을 통해 효과적으로 동기화될 수 있는가?

주요 결과

• DeltaGAN은 여섯 가지 벤치마크 데이터셋에서 소수 샘플 이미지 생성 분야에서 최첨단 성능을 달성하며, 뛰어난 다양성과 이미지 품질을 입증한다.
• 적대적 델타 매칭 손실은 생성된 델타와 실제 델타 간의 일치를 크게 향상시켜 생성 정밀도를 향상시킨다.
• Inception Score 및 FID 지표로 측정했을 때, 이전 방법들에 비해 더 다양한 샘플을 생성한다.
• 재구성 하위망은 카테고리 내 변동성을 효과적으로 포착하여 지원 이미지 쌍 간의 정확한 델타 학습을 가능하게 한다.
• 생성 하위망은 입력 이미지에 학습된 샘플별 델타를 적용하여 현실적이며 카테고리에 일관된 이미지를 생성한다.
• 제거 실험 결과, 델타 매칭 손실과 이중 하위망 아키텍처가 성능 향상에 필수적임을 확인한다.