[논문 리뷰] HyperDomainNet: Universal Domain Adaptation for Generative Adversarial Networks

Aibek Alanov, В. В. Титов외 1명|arXiv (Cornell University)|2022. 10. 17.

Topic Modeling인용 수 14

한 줄 요약

HyperDomainNet는 스타일 제너레이터의 파라미터를 3,000만 개에서 단 6,000개로 줄이며 성능을 유지하면서도, 스타일 제너레이터의 파라미터를 미세조정하기 위한 컴act한 6,000차원 도메인 벡터를 제안한다. 이는 성능을 유지하면서도 훈련 가능한 파라미터 수를 5,000분의 1로 줄인다. 또한 다양성을 향상시키기 위해 새로운 정규화 손실을 도입하고, 공유된 파rameterization을 통해 다중 도메인 적응을 가능하게 하는 하이퍼네트워크(HyperDomainNet)를 제안한다.

ABSTRACT

Domain adaptation framework of GANs has achieved great progress in recent years as a main successful approach of training contemporary GANs in the case of very limited training data. In this work, we significantly improve this framework by proposing an extremely compact parameter space for fine-tuning the generator. We introduce a novel domain-modulation technique that allows to optimize only 6 thousand-dimensional vector instead of 30 million weights of StyleGAN2 to adapt to a target domain. We apply this parameterization to the state-of-art domain adaptation methods and show that it has almost the same expressiveness as the full parameter space. Additionally, we propose a new regularization loss that considerably enhances the diversity of the fine-tuned generator. Inspired by the reduction in the size of the optimizing parameter space we consider the problem of multi-domain adaptation of GANs, i.e. setting when the same model can adapt to several domains depending on the input query. We propose the HyperDomainNet that is a hypernetwork that predicts our parameterization given the target domain. We empirically confirm that it can successfully learn a number of domains at once and may even generalize to unseen domains. Source code can be found at https://github.com/MACderRu/HyperDomainNet

연구 동기 및 목표

• GAN 도메인 적응에서 훈련 가능한 파라미터 수를 줄이되 성능을 저하시키지 않도록 하는 것.
• 소수의 샘플만을 사용하는 도메인 적응에서 발생하는 모드 붕괴 문제를 해결하기 위해 새로운 정규화 손실을 도입하는 것.
• 하이퍼네트워크를 통해 도메인별 파라미터를 예측함으로써 단일 제너레이터를 다중 도메인에 동시에 적응시키는 것.
• 다양한 도메인 적응 시나리오에서 미리 보지 못한 도메인으로의 일반화를 달성하는 것.
• 데이터가 부족한 환경에서 경량적이고 확장 가능한 도메인 적응 솔루션을 제공하는 것.

제안 방법

• 스타일 제너레이터2의 각 합성곱 레이어에 6,000차원의 벡터를 삽입하여 도메인 적응을 위한 도메인 모odulation 기법을 도입한다.
• 스타일 제너레이터-NADA 및 마인드더게이프와 같은 최신 기법들에 적용하여 전체 제너레이터 미세조정를 대체한다.
• CLIP 기반의 이미지 유사도를 유지하면서 다양성을 향상시키기 위해 새로운 도메인 내 각도 일致성 손실($\mathcal{L}_{\text{indomain-angle}}$)을 제안한다.
• 입력 도메인 설명(텍스트 또는 이미지)을 기반으로 6,000차원 도메인 벡터를 예측하는 하이퍼네트워크인 HyperDomainNet을 설계한다.
• CLIP 임베딩을 도메인 감독으로 사용하고, 데이터 증강을 통해 일반화 능력을 향상시키기 위해 다수의 도메인을 동시에 훈련시킨다.
• 고정된 도메인을 사용하는 훈련 방식과 CLIP 임베딩의 볼록 hull 샘플링을 통해 미리 보지 못한 도메인을 시뮬레이션하는 두 가지 훈련 전략을 사용한다.

실험 결과

연구 질문

• RQ1 6,000차원의 컴팩트한 벡터가 스타일 제너레이터2의 전체 가중치 미세조정을 동등한 품질로 대체할 수 있는가?
• RQ2 제안된 도메인 내 각도 일치성 손실이 미세조정된 제너레이터의 다양성을 효과적으로 향상시키는가?
• RQ3 하나의 하이퍼네트워크(HyperDomainNet)가 단일 제너레이터를 동시에 여러 도메인에 적응시키는 데 성공할 수 있는가?
• RQ4 훈련 중에 볼 수 없었던 도메인으로도 HyperDomainNet이 일반화할 수 있는가?
• RQ5 각 도메인마다 별도의 모델을 훈련시키는 것과 비교해 본다면 제안된 방법은 확장성과 효율성이 뛰어나다고 할 수 있는가?

주요 결과

• 제안된 도메인 모odulation 기법은 전체 가중치 미세조정 수준의 생성 품질을 달성하면서도 훈련 가능한 파라미터 수를 5,000배 감소시켰다.
• 도메인 내 각도 일치성 손실은 텍스트 기반 및 일회성 적응 벤치마크에서 정성적·정량적으로 다양성을 크게 향상시켰다.
• HyperDomainNet은 동시에 20개의 도메인에 대해 적응하여 각 도메인에 대해 별도의 모델을 훈련시킨 결과와 동등한 성능을 달성했다.
• 200개 이상의 도메인과 증강된 CLIP 임베딩으로 훈련한 후에도 HyperDomainNet은 미리 보지 못한 도메인으로도 효과적으로 일반화되어 자연스럽고 다양한 샘플을 생성했다.
• 단일 하이퍼네트워크를 여러 도메인 간에 공유함으로써 훈련 시간과 파라미터 수를 줄여 효율적인 다중 도메인 적응을 가능하게 했다.
• 제거 실험을 통해 제안된 손실 항목들이 다중 도메인 환경에서 HyperDomainNet의 효과적인 훈련에 필수적임을 확인했다.