[논문 리뷰] A Survey on Generative Modeling with Limited Data, Few Shots, and Zero Shot

Milad Abdollahzadeh, Guimeng Liu외 4명|arXiv (Cornell University)|2023. 07. 26.

Machine Learning in Healthcare인용 수 10

한 줄 요약

데이터 제약 하의 생성 모델링(GM-DC)에 관한 포괄적 고찰로, GANs, VAEs, 및 diffusion models 전반의 작업, 데이터 제약, 접근 방식, 도전 과제 및 향후 방향을 상세히 다룬다.

ABSTRACT

Generative modeling in machine learning aims to synthesize new data samples that are statistically similar to those observed during training. While conventional generative models such as GANs and diffusion models typically assume access to large and diverse datasets, many real-world applications (e.g. in medicine, satellite imaging, and artistic domains) operate under limited data availability and strict constraints. In this survey, we examine Generative Modeling under Data Constraint (GM-DC), which includes limited-data, few-shot, and zero-shot settings. We present a unified perspective on the key challenges in GM-DC, including overfitting, frequency bias, and incompatible knowledge transfer, and discuss how these issues impact model performance. To systematically analyze this growing field, we introduce two novel taxonomies: one categorizing GM-DC tasks (e.g. unconditional vs. conditional generation, cross-domain adaptation, and subject-driven modeling), and another organizing methodological approaches (e.g. transfer learning, data augmentation, meta-learning, and frequency-aware modeling). Our study reviews over 230 papers, offering a comprehensive view across generative model types and constraint scenarios. We further analyze task-approach-method interactions using a Sankey diagram and highlight promising directions for future work, including adaptation of foundation models, holistic evaluation frameworks, and data-centric strategies for sample selection. This survey provides a timely and practical roadmap for researchers and practitioners aiming to advance generative modeling under limited data. Project website: https://sutd-visual-computing-group.github.io/gmdc-survey/.

연구 동기 및 목표

• GM-DC의 배경과 동기를 조사하며, 데이터 수집이 도전적인 상황(예: 의료 분야)을 다룬다.
• 두 가지 분류 체계: GM-DC 작업 및 GM-DC 접근 방식은 비교하여 상호 작용을 분석한다.
• GM-DC 연구의 흐름, 격차 및 향후 방향을 강조한다.
• GM-DC 작업 및 대시보드가 포함된 프로젝트 웹사이트와 대화형 landscape 시각화를 제공한다.

제안 방법

• GANs, VAEs, 및 diffusion models에 걸친 GM-DC 문헌을 검토하고 합성한다.
• GM-DC에 대한 작업 분류 체계(uGM-1에서 cGM-3, IGM, SGM 등)와 해당 데이터 제약 매핑을 제시한다.
• 전이 학습, 데이터 증강, 네트워크 아키텍처, 다중 작업 목표, 주파수 활용, 메타 학습 등과 같은 접근 방식 분류 체계를 제시한다.
• 데이터 제약 하에서의 GM-DC 작업과 접근 방식 간의 상호 작용을 Sankey 다이어그램 및 차트와 같은 시각화를 통해 분석한다.

Figure 1 . Research Landscape of GM-DC. The figure shows the interaction between GM-DC tasks and approaches (main and sub categories), and GM-DC methods. Tasks are defined in our proposed taxonomy in Tab. 2 , and approaches in our proposed taxonomy in Tab. LABEL:tab:approaches . An interactive versi

실험 결과

연구 질문

• RQ1 GM-DC 작업은 어떤 것이 연구되었으며, 무조건/조건부, 교차 도메인 설정에서 어떻게 정의되는가?
• RQ2 데이터 제약 모달리티(LD, FS, ZS)가 어떤 것이 널리 사용되며, 방법론적 선택에 어떻게 영향을 미치는가?
• RQ3 지식 전이, 데이터 증강, 아키텍처 설계, 메타 학습 활용 등 데이터 제약 하에서 어떤 GM-DC 접근 방식이 효과적인가?
• RQ4 GM-DC에서의 주요 도전 과제와 남은 문제는 무엇이며, 향후 연구에 가장 유망한 방향은 무엇으로 보이는가?

주요 결과

• GM-DC 연구는 GANs, VAEs, Diffusion Models 등 여러 생성 모델 계열을 포괄하며 다양한 데이터 제약 설정을 다룬다.
• 두 가지 상세한 분류 체계(GM-DC 작업 및 GM-DC 접근 방식)가 문헌을 조직하고 작업과 방법 간의 상호 작용을 드러낸다.
• 제한된 데이터 하에서 전이 학습, 데이터 증강, 텍스트 또는 언어 지시를 통한 적응이 GM-DC의 핵심 전략이다.
• 메타 학습과 다중 작업 목표는 보이지 않는 도메인이나 클래스에 대한 적응을 가능하게 하는 데 효과적이다.
• 본 연구는 도메인 근접성, 교차 도메인 적응, 지식 전달이 GM-DC 결과를 형성하는 중요한 요소임을 강조한다.

Figure 2 . Overall publications statistics in GM-DC. GM-DC Publications (Left): GM-DC publication trends indicate rising interest in this area. We remark that the previous survey (Li et al . , 2022c ) only covers $\sim$ 27% of publications discussed in our survey. Publication Venues (Right): The dis