[論文レビュー] Generative AI in Vision: A Survey on Models, Metrics and Applications

Gaurav Raut, Apoorv Singh|arXiv (Cornell University)|Feb 26, 2024

Retinal Imaging and AnalysisMedicine被引用数 3

ひとこと要約

本調査では、コンピュータビジョン分野における拡散モデルおよび伝統的生成モデルの包括的な概要を提供し、理論的基盤、最先端のアーキテクチャ、およびテキストから画像生成、画像補完、スーパーキャラクタリゼーションなど多様な応用を詳細に説明している。特に、ノイズ除去拡散確率的モデル（DDPM）、スコアベースモデリング、およびラティス拡散における主な進展を強調するとともに、スケーラビリティ、解釈可能性、および倫理的AIにおける重要な課題と今後の研究方向性を特定している。

ABSTRACT

Generative AI models have revolutionized various fields by enabling the creation of realistic and diverse data samples. Among these models, diffusion models have emerged as a powerful approach for generating high-quality images, text, and audio. This survey paper provides a comprehensive overview of generative AI diffusion and legacy models, focusing on their underlying techniques, applications across different domains, and their challenges. We delve into the theoretical foundations of diffusion models, including concepts such as denoising diffusion probabilistic models (DDPM) and score-based generative modeling. Furthermore, we explore the diverse applications of these models in text-to-image, image inpainting, and image super-resolution, along with others, showcasing their potential in creative tasks and data augmentation. By synthesizing existing research and highlighting critical advancements in this field, this survey aims to provide researchers and practitioners with a comprehensive understanding of generative AI diffusion and legacy models and inspire future innovations in this exciting area of artificial intelligence.

研究の動機と目的

• コンピュータビジョンにおける生成的AIモデル、特に拡散モデルと伝統的アーキテクチャに焦点を当てた体系的レビューの提供。
• DDPMおよびスコアベース生成モデリングを含む、拡散モデルの理論的基盤の分析。
• テキストから画像合成、画像補完、スーパーキャラクタリゼーション、異常検出などの最先端の応用のサーベイ。
• 拡散モデルのトレーニング安定性、スケーラビリティ、解釈可能性に関する主な課題の特定。
• 時間系列予測、物理学にインspiredされたモデリング、倫理的配慮といった今後の研究方向性の概説。

提案手法

• VAE、GAN、ノーマライジングフロー、エネルギーベースモデルを含む基礎的生成モデルのサーベイ。
• DDPMにおける前向きおよび逆向きの拡散プロセスの詳細：ノイズを段階的に追加し、学習されたノイズ除去によって元に戻す。
• 前向きプロセスにおけるマルコフ連鎖の使用の説明：$ x_t = \sqrt{1-\beta_t}x_{t-1} + \sqrt{\beta_t}\epsilon $、ここで $ \epsilon \sim \mathcal{N}(0, I) $。
• 逆拡散カーネル（RDK）を神経ネットワークとして提示：各ステップでノイズを予測し、データを再構築する。
• テキストやマスク画像を条件とする条件付き拡散モデル（Stable Diffusion や Palette など）のレビュー。
• 単体ノイズ摂動を用いたDDPMベース再構築を用いる異常検出に特化した応用（AnoDDPM）の分析。

Figure 1 : a) Images generated using stable diffusion [ 70 ] ; b) Image super-resolution results from SR3 [ 72 ] ; c) Image inpainting results from Palette [ 73 ]

実験結果

リサーチクエスチョン

• RQ1 DDPM やスコアベースモデルは、GAN や VAE と比較して、どのように高精細な画像生成を達成するのか？
• RQ2 テキストから画像生成および画像補完タスクで最先端のパフォーマンスを実現するための、主なアーキテクチャ的およびトレーニングの革新は何か？
• RQ3 拡散モデルは、画像スーパーキャラクタリゼーション、カラー化、異常検出といった下流タスクにどのように適応可能か？
• RQ4 トレーニング安定性、推論速度、解釈可能性という点で、現在の拡散モデルの主な制限は何か？
• RQ5 時間系列予測や物理学にインスパイアされたモデリングといった今後の研究方向性の中で、拡散ベース生成AIを前進させるのに最も有望な分野は何か？

主な発見

• 特にDDPMおよびラティス拡散において、段階的なノイズ追加プロセスの逆方向学習により、高品質な画像生成が達成される。
• Palette や RePaint などの条件付き拡散モデルは、マルコフ連鎖の性質を活用してマスク領域のみをノイズ除去することで、高精細な画像補完を実現する。
• AnoDDPM は、健康な画像の再構築を学習したDDPMを用い、摂動を加えたテストサンプルの再構築誤差を測定することで、異常検出を達成する。
• Stable Diffusion などのラティス拡散モデルは、圧縮されたラティス空間で動作することで、著しく効率性が向上する。
• 強力なパフォーマンスを発揮するが、拡散モデルはトレーニング安定性、計算コスト、解釈可能性の面で課題を抱えている。
• 今後の研究は、時間系列予測、物理学にインスパイアされたモデリング、バイアスや社会的影響といった倫理的懸念の解決に向けた取り組みが求められる。

Figure 2 : An extension of generative models classification based on [ 25 ]