[論文レビュー] Image Synthesis under Limited Data: A Survey and Taxonomy

Mengping Yang, Zhe Wang|arXiv (Cornell University)|Jul 31, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本サーベイは、限られたデータにおける画像生成について包括的な分類体系と体系的なレビューを提示し、4つのタスクに分類する：データ効率的生成モデル、少サンプル生成適応、少サンプル画像生成、ワンショット画像生成。既存の手法、ベンチマーク、限界、今後の方向性を分析し、研究者らが少数またはゼロのトレーニングサンプルで作業する際に役立つ包括的な問題定義と実行可能なインサイトを提供する。

ABSTRACT

Deep generative models, which target reproducing the given data distribution to produce novel samples, have made unprecedented advancements in recent years. Their technical breakthroughs have enabled unparalleled quality in the synthesis of visual content. However, one critical prerequisite for their tremendous success is the availability of a sufficient number of training samples, which requires massive computation resources. When trained on limited data, generative models tend to suffer from severe performance deterioration due to overfitting and memorization. Accordingly, researchers have devoted considerable attention to develop novel models that are capable of generating plausible and diverse images from limited training data recently. Despite numerous efforts to enhance training stability and synthesis quality in the limited data scenarios, there is a lack of a systematic survey that provides 1) a clear problem definition, critical challenges, and taxonomy of various tasks; 2) an in-depth analysis on the pros, cons, and remain limitations of existing literature; as well as 3) a thorough discussion on the potential applications and future directions in the field of image synthesis under limited data. In order to fill this gap and provide a informative introduction to researchers who are new to this topic, this survey offers a comprehensive review and a novel taxonomy on the development of image synthesis under limited data. In particular, it covers the problem definition, requirements, main solutions, popular benchmarks, and remain challenges in a comprehensive and all-around manner.

研究の動機と目的

• 既存の文献における不整合を解消するため、限られたデータにおける画像生成の明確で統一された問題定義を確立すること。
• データ効率的生成モデル、少サンプル生成適応、少サンプル画像生成、ワンショット画像生成の4つの明確なサブタスクに分類する、革新的な分類体系を構築すること。
• アーキテクチャ、データ増強、正則化、トレーニング戦略を含む技術的解決策の包括的レビューを提供し、それらの長所と短所を分析すること。
• 評価指標の信頼性、トレーニングの安定性、生成モデリングと表現学習の統合といった、未解決の課題を特定すること。
• 少サンプルおよびワンショット画像生成の研究者を支援するため、実用的応用と今後の研究方向性を強調すること。

提案手法

• 限られたデータにおける画像生成手法を分類する4段階の分類体系を提案：データ効率的生成モデル、少サンプル生成適応、少サンプル画像生成、ワンショット画像生成。
• データ増強、アーキテクチャの革新（例：メタラーニング、アテンション機構）、正則化技術を含む多様な技術的解決策をレビュー・分析し、過学習や記憶の回避に寄与する。
• CUB-200-2011、CARS、FFHQ-Few-Shot などの既存ベンチマークを評価し、少サンプルおよびワンショット設定における適正性を検証する。
• 特に拡散モデルおよびテキストから画像への拡散モデル（例：Stable Diffusion）が、高精細な少サンプル生成を可能にする役割を議論する。
• 生成モデリングと表現学習の相互作用を検討し、今後の有望な方向性として統一フレームワークの提案を行う。
• 人間の知覚と一致するように、評価指標の改善、特に主観的評価手法の統合が不可欠であることを強調する。

実験結果

リサーチクエスチョン

• RQ1 限られたデータ、特に過学習や記憶のリスクが顕著に現れる状況下で、深層生成モデルを訓練する際の主な課題は何か？
• RQ2 少サンプル画像生成と少サンプル生成適応といった類似したが異なるタスクの違いを明確にするために、統一された分類体系をどのように確立できるか？
• RQ3 少サンプルおよびワンショット画像生成におけるサンプルの多様性と忠実度を向上させるために、最も効果的なアーキテクチャ、データ、トレーニング戦略は何か？
• RQ4 人間の視覚的判断とよりよく一致するように、評価指標をどのように改善できるか？特に低データ環境下での一般化性能を反映させるには？
• RQ5 生成モデリングと表現学習を統合することで、データが乏しい環境下での性能向上を実現するための新たな機会は何か？

主な発見

• 本サーベイは、限られたデータにおける画像生成に4つの明確なサブタスクを同定した：データ効率的生成モデル、少サンプル生成適応、少サンプル画像生成、ワンショット画像生成。各タスクには固有の要件と評価設定がある。
• 進展は見られるものの、過学習と記憶は依然として主な課題であり、特に1つのサンプルしか利用できないワンショット設定では顕著である。
• 拡散モデルは、限られたデータ環境下でのトレーニング安定性の向上に有望であるが、少サンプル状況下での性能はまだ十分に調査されておらず、今後の検討が求められる。
• 既存の評価指標は、人間の視覚的判断と相関が弱く、人間の知覚と一致する新しい指標と、主観的評価手法の統合が不可欠であることを示している。
• 生成モデリングと表現学習の統合は、極めて有望な方向性であり、低データ環境下で生成的および識別的性能が相互に強化される可能性を秘めている。
• たった数枚の入力画像（例：ペットのポートレート）から個人化された画像生成が、実用的かつ成長著しい応用分野であるが、現在の手法は合成品質と推論速度の面で依然として限界を抱えている。