[논문 리뷰] MineGAN: effective knowledge transfer from GANs to target domains with few images

Yaxing Wang, Abel González-García외 4명|arXiv (Cornell University)|2019. 12. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 7

한 줄 요약

MineGAN은 사전 훈련된 GAN의 잠재 공간을 소수의 이미지로 가진 목표 도메인과 가장 유사한 영역으로 이끌기 위해 경량의 마이너 네트워크를 사용하는 새로운 지식 전이 방법을 제안한다. 미세튜닝 이전에 관련 잠재 영역을 마이닝함으로써 MineGAN은 과적합과 모드 붕괴를 줄이며, 무조건적, 조건부, 다중 GAN 설정에서 FID 및 KMMD 점수 측면에서 기존 방법들을 능가한다.

ABSTRACT

One of the attractive characteristics of deep neural networks is their ability to transfer knowledge obtained in one domain to other related domains. As a result, high-quality networks can be trained in domains with relatively little training data. This property has been extensively studied for discriminative networks but has received significantly less attention for generative models. Given the often enormous effort required to train GANs, both computationally as well as in the dataset collection, the re-use of pretrained GANs is a desirable objective. We propose a novel knowledge transfer method for generative models based on mining the knowledge that is most beneficial to a specific target domain, either from a single or multiple pretrained GANs. This is done using a miner network that identifies which part of the generative distribution of each pretrained GAN outputs samples closest to the target domain. Mining effectively steers GAN sampling towards suitable regions of the latent space, which facilitates the posterior finetuning and avoids pathologies of other methods such as mode collapse and lack of flexibility. We perform experiments on several complex datasets using various GAN architectures (BigGAN, Progressive GAN) and show that the proposed method, called MineGAN, effectively transfers knowledge to domains with few target images, outperforming existing methods. In addition, MineGAN can successfully transfer knowledge from multiple pretrained GANs. Our code is available at: https://github.com/yaxingwang/MineGAN.

연구 동기 및 목표

• 소수의 이미지로만 이루어진 목표 도메인으로 사전 훈련된 GAN에서 지식을 전이하는 데 있어 기존 방법들이 모드 붕괴와 과적합 문제를 겪는 도전 과제를 해결한다.
• 모든 생성기 파라미터를 업데이트하는 기존 미세튜닝 접근 방식의 한계를 극복하여 소규모 목표 데이터셋에서 불안정성과 낮은 일반화 성능을 초래한다.
• 단일 사전 훈련된 GAN뿐만 아니라 다수의 GAN으로부터도 효과적인 지식 전이를 가능하게 하여 상호보완적인 정보를 통합한다.
• 완전한 미세튜닝의 유연성을 유지하면서도, 표적에 맞는 데이터 기반의 잠재 공간 샘플링을 통해 과적합을 줄이는 방법을 개발한다.
• 반복 최적화를 피하는 피드포워드 추론 파이프라인을 설계하여, DGN-AM 또는 PPGN과 같은 방법들과는 달리 실시간 구현에 실용적인 속도를 확보한다.

제안 방법

• 사전 훈련된 GAN의 입력 공간에서 표준 정규분포를 목표 도메인에 가장 가까운 분포로 매핑하는 경량 마이너 네트워크를 도입한다.
• 목표 도메인의 실제 이미지가 소수일 때도 잠재 공간에서 목표 도메인에 가까운 위치를 최적화하기 위해 선택적 백프로파게이션 절차를 사용해 마이너 네트워크를 훈련시킨다.
• 마이너 네트워크를 활용해 사전 훈련된 GAN의 잠재 공간에서 목표 도메인과 통계적·의미적으로 유사한 영역으로 샘플링을 이끌어낸다.
• 채굴된 잠재 코드만을 사용해 생성기의 사후 미세튜닝을 적용함으로써 훈련 신호의 분산을 줄이고 모드 붕괴를 완화한다.
• 다양한 소스 분포에서의 지식 통합을 가능하게 하기 위해, 마이너 네트워크를 통해 여러 사전 훈련된 GAN의 출력을 결합하는 방식으로 방법을 확장한다.
• 반복 최적화를 피하는 피드포워드 추론 파이프라인을 확보하여, DGN-AM 또는 PPGN처럼 반복적인 최적화를 거치지 않아도 되므로 생성 과정이 훨씬 빠르게 구현된다.

실험 결과

연구 질문

• RQ1 소수의 실제 이미지로만 이루어진 목표 도메인으로 사전 훈련된 GAN이 생성하는 이미지를 효과적으로 식별하고 이끌 수 있는 경량 마이너 네트워크가 가능한가?
• RQ2 미세튜닝 이전에 가장 관련 있는 잠재 공간 영역을 마이닝함으로써, 표준 미세튜닝 대비 생성 품질 향상과 과적합 감소가 이루어지는가?
• RQ3 MineGAN은 다수의 사전 훈련된 GAN에서 단일 목표 도메인으로 지식 전이를 성공적으로 수행할 수 있으며, 이는 단일 GAN 전이 대비 성능 향상이 이루어지는가?
• RQ4 BigGAN과 같은 고품질 GAN에 적용했을 때, DGN-AM 및 PPGN과 같은 반복적 방법들과 비교해 MineGAN은 추론 속도와 생성 품질 측면에서 어떻게 성능을 내는가?
• RQ5 MineGAN은 ImageNet에서 Places365로의 전이와 같이, 온맨포ลด 및 오프맨포ลด 분포 이격 상황에서도 일반화가 가능한가?

주요 결과

• MineGAN은 무조건적 및 조건부 GAN 전이 모두에서 최고 성능을 기록하였으며, 오프맨포ลด 및 온맨포ลด ImageNet-to-Places365 전이에서 FID 점수는 각각 78.4 및 52.3을 기록했다.
• 특히 TransferGAN이 레이블 지원이 부족해 실패하는 어려운 오프맨포ลด 설정에서, MineGAN은 FID 및 KMMD 지표에서 TransferGAN, DGN-AM, PPGN을 모두 능가한다.
• 추론 시간을 약 5.2ms로 단축시켜, DGN-AM(3020ms) 및 PPGN(3830ms)과 같은 반복적 방법들보다 약 3개의 지수 차수 빠르게 구현된다.
• DGN-AM 및 PPGN와 달리, MineGAN은 목표 도메인 레이블을 사용하지 않아도 우수한 성능을 기록한다.
• qualitative 및 quantitative 결과를 통해, 마이너 네트워크는 타워 목표 도메인에 대해 브리지 및 차rch GAN과 같은 관련 있는 소스 GAN을 성공적으로 식별하였다.
• BigGAN, Progressive GAN, SNGAN 등 다양한 GAN 아키텍처에서 소수의 샘플로 구성된 복잡한 데이터셋에 대해 MineGAN은 강건성과 일반화 능력을 입증하였다.