[논문 리뷰] Image Synthesis under Limited Data: A Survey and Taxonomy

Mengping Yang, Zhe Wang|arXiv (Cornell University)|2023. 07. 31.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 종합 검토는 제한된 데이터 하에서 이미지 합성에 대해 체계적인 분류 체계를 제시하며, 데이터 효율적 생성 모델, 소수 샘플 생성 적응, 소수 샘플 이미지 생성, 일장 샘플 합성의 네 가지 작업으로 접근법을 분류한다. 기존 방법, 벤치마크, 한계점 및 향후 방향을 분석하여, 소수 또는 영업 샘플이 없는 연구자들이 활용할 수 있는 통합된 문제 정의와 실질적인 통찰을 제공한다.

ABSTRACT

Deep generative models, which target reproducing the given data distribution to produce novel samples, have made unprecedented advancements in recent years. Their technical breakthroughs have enabled unparalleled quality in the synthesis of visual content. However, one critical prerequisite for their tremendous success is the availability of a sufficient number of training samples, which requires massive computation resources. When trained on limited data, generative models tend to suffer from severe performance deterioration due to overfitting and memorization. Accordingly, researchers have devoted considerable attention to develop novel models that are capable of generating plausible and diverse images from limited training data recently. Despite numerous efforts to enhance training stability and synthesis quality in the limited data scenarios, there is a lack of a systematic survey that provides 1) a clear problem definition, critical challenges, and taxonomy of various tasks; 2) an in-depth analysis on the pros, cons, and remain limitations of existing literature; as well as 3) a thorough discussion on the potential applications and future directions in the field of image synthesis under limited data. In order to fill this gap and provide a informative introduction to researchers who are new to this topic, this survey offers a comprehensive review and a novel taxonomy on the development of image synthesis under limited data. In particular, it covers the problem definition, requirements, main solutions, popular benchmarks, and remain challenges in a comprehensive and all-around manner.

연구 동기 및 목표

• 기존 문헌에서의 일관성 부족 문제를 해결하기 위해, 제한된 데이터 하에서 이미지 합성에 대한 명확하고 통합된 문제 정의를 수립하기 위해.
• 기존 접근법을 네 가지 구체적인 하위 작업으로 체계적으로 분류하는 새로운 분류 체계를 개발하기 위해: 데이터 효율적 생성 모델, 소수 샘플 생성 적응, 소수 샘플 이미지 생성, 일장 샘플 합성.
• 아키텍처, 데이터 증강, 정규화 및 학습 전략 등을 포함한 기술적 솔루션에 대한 종합적 검토를 제공하며, 각 기법의 강점과 한계를 분석하기 위해.
• 평가 지표의 신뢰성, 학습 안정성, 생성 모델링과 표현 학습의 통합 등 개방된 과제를 규명하기 위해.
• 소수 샘플 및 일장 샘플 이미지 생성 연구자들을 위한 실용적 응용 사례와 향후 연구 방향을 제시하기 위해.

제안 방법

• 제한된 데이터 하에서 이미지 합성 방법을 분류하기 위해 네 수준의 분류 체계를 제안함: 데이터 효율적 생성 모델, 소수 샘플 생성 적응, 소수 샘플 이미지 생성, 일장 샘플 합성.
• 다양한 기술적 솔루션을 검토 및 분석함: 데이터 증강, 메타학습 및 주목적 메커니즘 등의 아키텍처 혁신, 과적합 및 기억 현상을 완화하기 위한 정규화 기법.
• CUB-200-2011, CARS, FFHQ-Few-Shot 등의 기존 벤치마크를 평가하여 소수 샘플 및 일장 샘플 설정에 적합한지 평가함.
• 특히 확산 모델 및 텍스트-이미지 확산 모델(예: Stable Diffusion)과 같은 사전 학습된 모델의 역할을 논의함으로써 고해상도 소수 샘플 생성을 가능하게 함.
• 생성 모델링과 표현 학습 간의 상호작용을 분석하고, 향후 유망한 방향으로 통합 프레임워크를 제안함.
• 사람의 시각적 판단과 더 잘 일치하기 위해, 인간의 주관적 인지 연구를 포함한 개선된 평가 지표의 필요성을 강조함.

실험 결과

연구 질문

• RQ1 특히 단일 예시만을 이용해 학습하는 일장 설정에서 과적합 및 기억 현상이 발생할 때, 제한된 데이터에서 딥 생성 모델을 학습시키는 데 있어 핵심 과제는 무엇인가?
• RQ2 소수 샘플 이미지 생성과 소수 샘플 생성 적응과 같은 유사하지만 다른 작업들 사이의 차이를 명확히 하기 위해 통합된 분류 체계를 어떻게 수립할 수 있는가?
• RQ3 소수 샘플 및 일장 샘플 이미지 합성에서 샘플의 다양성과 정확도를 향상시키기 위해 가장 효과적인 아키텍처, 데이터, 학습 전략은 무엇인가?
• RQ4 낮은 데이터 환경에서 인간의 시각적 판단과 일반화 능력을 더 잘 반영하기 위해 평가 지표는 어떻게 개선할 수 있는가?
• RQ5 생성 모델링과 표현 학습을 통합함으로써 데이터 부족 환경에서 성능을 향상시킬 수 있는 잠재적 기회는 무엇인가?

주요 결과

• 이 검토는 제한된 데이터 하에서 이미지 합성에 네 가지 명확히 구분되는 하위 작업이 있음을 규명함: 데이터 효율적 생성 모델, 소수 샘플 생성 적응, 소수 샘플 이미지 생성, 일장 샘플 합성. 각 작업은 고유한 요구사항과 평가 설정을 가짐.
• 진전이 있었음에도 불구하고, 과적합과 기억 현상은 여전히 주요 과제이며, 특히 단일 예시만을 사용하는 일장 설정에서 더욱 심각함.
• 확산 모델은 제한된 데이터 환경에서 학습 안정성을 향상시키는 데 유망한 성과를 보이고 있으나, 소수 샘플 설정에서의 성능는 아직 탐색되지 않았고 향후 연구가 필요함.
• 기존 평가 지표는 종종 인간의 시각적 판단과 잘 연관되지 않아, 인간의 인지와 일치하는 새로운 지표와 주관적 평가 방법의 통합이 필요함을 시사함.
• 생성 모델링과 표현 학습의 통합은 매우 유망한 방향으로, 데이터 부족 환경에서 생성 및 판별 능력이 상호 보완적으로 향상될 수 있음.
• 소수의 입력 이미지(예: 반려동물의 초상화)만으로 개인화된 이미지 생성은 실용적이고 성장 중인 응용 분야이지만, 현재의 방법들은 합성 품질과 추론 속도 측면에서 여전히 한계를 가짐.