[논문 리뷰] Few-shot Image Generation with Elastic Weight Consolidation

Yijun Li, Richard Zhang외 2명|arXiv (Cornell University)|2020. 12. 04.

Image Processing Techniques and Applications인용 수 26

한 줄 요약

이 논문은 소수의 타겟 예시만을 사용하여 사전 훈련된 생성 모델을 새로운 타겟 도메인에 적응시키는 소수 샘플 이미지 생성 방법을 제안한다. 이는 타겟 도메인으로의 적응 중 소스 도메인의 다양성을 유지하기 위해 탄성 가중치 통합(Elastic Weight Consolidation, EWC)을 사용한다. 파라미터 업데이트를 피셔 정보를 기반으로 정규화하여, 최소 10개의 타겟 예시로도 고품질이고 다양한 이미지를 생성할 수 있으며, 특히 예술적이고 데이터가 적은 환경에서 이전의 접근 방식보다 우수한 교차 도메인 전이 성능을 보인다.

ABSTRACT

Few-shot image generation seeks to generate more data of a given domain, with only few available training examples. As it is unreasonable to expect to fully infer the distribution from just a few observations (e.g., emojis), we seek to leverage a large, related source domain as pretraining (e.g., human faces). Thus, we wish to preserve the diversity of the source domain, while adapting to the appearance of the target. We adapt a pretrained model, without introducing any additional parameters, to the few examples of the target domain. Crucially, we regularize the changes of the weights during this adaptation, in order to best preserve the information of the source dataset, while fitting the target. We demonstrate the effectiveness of our algorithm by generating high-quality results of different target domains, including those with extremely few examples (e.g., <10). We also analyze the performance of our method with respect to some important factors, such as the number of examples and the dissimilarity between the source and target domain.

연구 동기 및 목표

• 소수의 타겟 도메인 예시만 제공되는 저데이터 환경에서 고품질의 이미지 생성을 가능하게 하기 위해.
• 추가 파라미터 없이 사전 훈련된 생성 모델을 새로운 타겟 도메인에 적응시키면서 소스 도메인의 다양성을 유지하기 위해.
• 파라미터 중요도에 따라 가중치 업데이트를 선택적으로 정규화하여 소수 샘플 생성에서의 과적합 문제를 해결하기 위해.
• 예술적이고 상이한 소스-타겟 쌍을 포함한 다양한 도메인에서 방법의 성능을 평가하기 위해.
• 타겟 예시 수와 도메인 간 상이성의 영향이 생성 품질에 미치는 영향을 분석하기 위해.

제안 방법

• EWC를 사용하여 사전 훈련된 GAN(예: StyleGAN)의 가중치를 미세조정함으로써, 새로운 타겟 도메인에 적응시키되, 새로운 파라미터를 추가하지 않는다.
• 정지된 판별기(디스criminator)를 사용하여 파라미터 중요도의 근사치로 피셔 정보를 추정함으로써, 적응 과정에서 중요한 가중치에 대한 정규화를 가능하게 한다.
• EWC 정규화를 적용하여 중요도가 높은 가중치의 변화를 제약함으로써 소스 도메인의 다양성을 유지한다.
• 소스 모델과 적응된 모델 간 동일한 잠재 코드를 사용하여 자세, 헤어스타일 등 속성 수준의 대응 관계를 유지한다.
• 소수의 타겟 이미지만으로 훈련하여, 타겟 도메인의 외관과 일치하는 다양하고 현실적인 샘플을 생성하는 것을 목표로 한다.
• 소스 모델과 적응된 모델 간의 대응 관계를 활용하여, 실제 레이블 없이도 후행 작업을 위한 합성 쌍 데이터를 생성한다.

실험 결과

연구 질문

• RQ1 소수의 예시로 새로운 타겟 도메인에 적응할 때, EWC 기반의 가중치 정규화가 소스 도메인의 다양성을 효과적으로 유지할 수 있는가?
• RQ2 타겟 예시의 수가 생성된 이미지의 품질과 다양성에 어떤 영향을 미치는가?
• RQ3 소스 도메인과 타겟 도메인 간의 도메인 상이성이 적응 방법의 성능에 어떤 영향을 미치는가?
• RQ4 소스 도메인이 매우 다른 의미적 특성을 지닌 경우(예: 얼굴에서 풍경으로의 전이), 적응된 모델이 얼마나 의미 있는 이미지를 생성할 수 있는가?
• RQ5 소스 모델과 적응된 모델 간의 생성 결과 대응 관계를 활용하여 실제 레이블 없이도 쌍 데이터를 합성할 수 있는가?

주요 결과

• 이 방법은 예술적 도메인을 포함한 여러 타겟 도메인에서, 타겟 예시가 10개일 때조차도 고품질이고 다양한 이미지를 생성한다.
• 동일한 잠재 코드를 사용할 때, 소스 도메인의 핵심 속성(예: 자세, 헤어스타일, 표정)이 유지되어 구조적 대응 관계를 보여준다.
• FFHQ 소스에 가장 가까운 CelebA-Female 얼굴 도메인에서, 생성된 이미지가 가장 현실적이고 다양하여 강력한 전이 성능을 나타낸다.
• 얼굴에서 컬러 연필 풍경으로의 전이 시도에서는 모델이 의미적 구조를 변경하지 못함(예: 얼굴 실루엣이 그대로 유지됨)으로써, 매우 상이한 도메인에서는 한계를 드러낸다.
• 고유한 CNN 검출기로 Cat 및 CelebA-Female 데이터셋에서 생성된 이미지를 검출할 때 평균 정밀도가 각각 94.9%와 99.6%를 기록하여, 다른 GAN 기반 방법과 유사한 검출 가능성을 보였다.
• 제거 실험을 통해 EWC 정규화가 정규화 없이 기본 미세조정을 수행한 경우에 비해 생성 품질과 다양성 향상에 크게 기여하는 것으로 확인되었다.