[論文レビュー] On the Opportunities and Risks of Foundation Models

Rishi Bommasani, Drew A. Hudson+112 more|arXiv (Cornell University)|Aug 16, 2021

Domain Adaptation and Few-Shot Learning参考文献 1,095被引用数 2,137

ひとこと要約

基盤モデルの包括的な検証。広範なデータで訓練され、多くのタスクに適応可能な基盤モデルに焦点を当て、その能力、出現、均質化、エコシステム、社会的影響、ガバナンスと研究方向の考慮点を含む。

ABSTRACT

AI is undergoing a paradigm shift with the rise of models (e.g., BERT, DALL-E, GPT-3) that are trained on broad data at scale and are adaptable to a wide range of downstream tasks. We call these models foundation models to underscore their critically central yet incomplete character. This report provides a thorough account of the opportunities and risks of foundation models, ranging from their capabilities (e.g., language, vision, robotics, reasoning, human interaction) and technical principles(e.g., model architectures, training procedures, data, systems, security, evaluation, theory) to their applications (e.g., law, healthcare, education) and societal impact (e.g., inequity, misuse, economic and environmental impact, legal and ethical considerations). Though foundation models are based on standard deep learning and transfer learning, their scale results in new emergent capabilities,and their effectiveness across so many tasks incentivizes homogenization. Homogenization provides powerful leverage but demands caution, as the defects of the foundation model are inherited by all the adapted models downstream. Despite the impending widespread deployment of foundation models, we currently lack a clear understanding of how they work, when they fail, and what they are even capable of due to their emergent properties. To tackle these questions, we believe much of the critical research on foundation models will require deep interdisciplinary collaboration commensurate with their fundamentally sociotechnical nature.

研究の動機と目的

• 基盤モデルを定義し、AIにおけるパラダイムシフトとしての研究の動機づけを行う。
• 言語・視覚・ロボティクス・推論・対話などの能力を分析する。
• 基盤モデルに関連する技術・データ・システム・安全性・評価・理論的側面を検討する。
• 医療・法務・教育への応用とより広い社会的影響について論じる。

提案手法

• コンピュータサイエンス・社会科学・経済学・倫理学の学際的観点を統合して基盤モデルを特徴づける。
• データ作成からデプロイメントに至るエコシステムを記述し、下流の影響を推論する。
• 出現的挙動と研究・実務におけるモデルの均質化の影響を論じる。
• ガバナンス・倫理・産学連携の規範的指針を提供する。
• 理解のギャップを浮き彫りにし、将来の研究とインフラの方向性を提案する。

実験結果

リサーチクエスチョン

• RQ1 基盤モデルはモダリティ（言語・視覚・ロボティクス・推論・対話）全般でどのような能力を示すか。
• RQ2 出現と均質化は能力・リスク・社会的影響をどのように形成するか。
• RQ3 データ作成からデプロイメントまで、基盤モデルを取り巻くエコシステムは何であり、ガバナンスはどこに介入すべきか。
• RQ4 責任を持って基盤モデルを開発・デプロイするために必要な規範と制度的枠組みは何か（しばしば学際的な協力を要する）

主な発見

• 基盤モデルは出現的特性を示し、大規模でのインコンテキスト学習を可能にするが、明示的に訓練されたものではない。
• モデルと方法論の強い均質化が見られ、広範な転移学習を可能にする一方、共通の失敗モードと偏りを生み出す。
• 出現的能力とこれらのモデルの規模は、社会的・倫理的・環境的懸念を生み、慎重なガバナンスを要する。
• 全体の社会的影響は、データ作成・キュレーション・訓練・適応・デプロイメントを含むエコシステム全体に依存し、訓練段階だけでは決まらない。
• 学界と産業界の協力が必要で、学界は多様な学問的視点と長期的な公共の利益を考慮すべき。
• モデルと訓練データがますます専有的になり、再現性と公開性に大きな障害が生じている。