[論文レビュー] On the Challenges and Opportunities in Generative AI

Laura Manduchi, Meister, Clara+24 more|arXiv (Cornell University)|Feb 28, 2024

AI-based Problem Solving and Planning被引用数 14

ひとこと要約

本論文は、深層生成モデルにおける未解決の課題を、範囲・効率・評価・倫理の観点で調査し、研究の方向性を概説する。

ABSTRACT

The field of deep generative modeling has grown rapidly in the last few years. With the availability of massive amounts of training data coupled with advances in scalable unsupervised learning paradigms, recent large-scale generative models show tremendous promise in synthesizing high-resolution images and text, as well as structured data such as videos and molecules. However, we argue that current large-scale generative AI models exhibit several fundamental shortcomings that hinder their widespread adoption across domains. In this work, our objective is to identify these issues and highlight key unresolved challenges in modern generative AI paradigms that should be addressed to further enhance their capabilities, versatility, and reliability. By identifying these challenges, we aim to provide researchers with insights for exploring fruitful research directions, thus fostering the development of more robust and accessible generative AI solutions.

研究の動機と目的

• 深層生成モデル（DGMs）の普及を妨げる主要な未解決課題を特定する。
• 範囲を広げ、効率を向上させ、倫理的・社会的懸念に対処する方向性を提案する。
• 複数のコミュニティの見解を統合し、堅牢で利用しやすい生成AIを導くための見解を統合する。
• 領域を超えて堅牢性・透明性・使いやすさを向上させる研究優先事項を強調する。

提案手法

• Dagstuhl Seminar on Challenges and Perspectives in Deep Generative Modeling からの見解を総合する。
• 一般化・透明性・因果表現・異種データ処理の課題を分析する（Sections 2）。
• 訓練/推論コストやアーキテクチャ的考慮を含む効率とリソース利用について論じる（Section 3）。
• 評価指標とモデル選択の考慮事項を検討する（Section 3.2）。
• 倫理的な展開・プライバシー・公正性・解釈可能性・不確実性に対処する（Section 4）。

実験結果

リサーチクエスチョン

• RQ1 DGMsの範囲と適応性をリーダーボードの性能を超えて拡張する上での主要な課題は何か？
• RQ2 訓練と推論において、DGMsをより効率的・利用しやすく・持続可能にするにはどうすればよいか？
• RQ3 大規模生成モデルを責任ある展開において不可欠な倫理・社会・ガバナンスの考慮事項は何か？
• RQ4 因果表現と異種データ基盤はDGMsの堅牢性と有用性にどのように影響する可能性があるか？

主な発見

• 一般化と堅牢性は依然として課題であり、特に分布外のシフトや稀なイベントに対して難しく、ショートカット学習や偏りのリスクがある。
• 現在のDGMsにおける暗黙の前提を見直す必要があり、事前分布やドメイン知識はデータ効率を改善でき、特にデータが乏しい領域で有効である。
• 因果表現とドメイン知識の統合は堅牢性・解釈可能性・公平なモデルへの道を提供する。
• 異種データタイプのファウンデーションモデルは、相互運用性・プライバシー・セキュリティ・ドメイン知識の統合に課題を抱える。
• 効率化には原理的なアーキテクチャ研究、量子化戦略、拡散型および自己回帰モデルのサンプリング/推論を高速化することが必要である。
• DGMsの評価指標は不完全であり、品質・多様性・較正・堅牢性・タスク固有のニーズを均衡させる必要があり、実世界での適用性に配慮する。