[論文レビュー] Predictability and Surprise in Large Generative Models

Deep Ganguli, Danny Hernandez+28 more|arXiv (Cornell University)|Feb 15, 2022

Scientific Computing and Data Management被引用数 22

ひとこと要約

本論文は、大規模な生成モデルがスケールに比例して滑らかな一般能力のスケーリングを予測可能に示す一方、特定の能力と出力は急激に出現し、入力/出力が未完結であるため運用リスクを生み出し、政策介入を導くことを主張する。

ABSTRACT

Large-scale pre-training has recently emerged as a technique for creating capable, general purpose, generative models such as GPT-3, Megatron-Turing NLG, Gopher, and many others. In this paper, we highlight a counterintuitive property of such models and discuss the policy implications of this property. Namely, these generative models have an unusual combination of predictable loss on a broad training distribution (as embodied in their "scaling laws"), and unpredictable specific capabilities, inputs, and outputs. We believe that the high-level predictability and appearance of useful capabilities drives rapid development of such models, while the unpredictable qualities make it difficult to anticipate the consequences of model deployment. We go through examples of how this combination can lead to socially harmful behavior with examples from the literature and real world observations, and we also perform two novel experiments to illustrate our point about harms from unpredictability. Furthermore, we analyze how these conflicting properties combine to give model developers various motivations for deploying these models, and challenges that can hinder deployment. We conclude with a list of possible interventions the AI community may take to increase the chance of these models having a beneficial impact. We intend this paper to be useful to policymakers who want to understand and regulate AI systems, technologists who care about the potential policy impact of their work, and academics who want to analyze, critique, and potentially develop large generative models.

研究の動機と目的

• 大規模生成モデルの4つの特徴的な要素を説明する（滑らかな一般能力のスケーリング、急激な特定能力のスケーリング、オープンエンドな入力、オープンエンドな出力）。
• スケーリング則が開発のインセンティブ、デプロイメントの動機、および関連する安全上の課題にどう影響するかを分析する。
• 新規の実験や実世界を嗜参考した例を用いて、予測不能性から生じる潜在的な害を示す。
• 有益な結果へ向けたモデル開発を導くための政策介入とガバナンスの検討を論じる。

提案手法

• モデル規模、データ、計算量、損失との間にべき乗則を示すスケーリング法則の文献をレビューし統合する。
• 予測不能性から生じる害を示すための大規模言語モデルに関する新規実験を提示する（例：再犯に関するプロンプトなど）。
• 急激な能力の出現とオープンエンドな振る舞いの定性的・定量的例を提供する。
• モデルサイズに跨るオープンエンドな出力と毒性傾向を分析する。
• 政策介入を提案し、産業・学界のダイナミクスとデプロイメントの障壁を検討する。

実験結果

リサーチクエスチョン

• RQ1 一般的な能力のスケーリングは、スケール・データ・計算量とともに予測可能な法則に従うか？
• RQ2 特定の能力は特定のスケールで急激に出現するのか、どの条件下でそうなるのか？
• RQ3 オープンエンドな入力と出力は、大規模モデルから生じる害の予見と緩和にどう影響するか？
• RQ4 有益な成果へと大規模モデル開発を導くための政策・組織的介入には何があるか？

主な発見

• スケーリング法則は、モデル損失がより大きなモデルサイズ、より多くのデータ、より長い訓練で低下することを、べき乗則の関係に従って予測する。
• 特定の能力はスケールで急激に発現することがあり、一般的なスケーリングだけでは見えないホッケースティック的な向上を示す。
• オープンエンドな入力/ドメインは、促さないと現れない未知の能力が表面化する可能性があるため、害の予測不能性を高める。
• オープンエンドな出力は、モデルサイズの増大とともに毒性が高まることを含み、能力と同様にスケールする社会的に関連するリスクを示す。
• 再犯予測のような機微なタスクで検証した場合、既存のリスク指標と同等かそれを超える偏見と害を大規模モデルが示す。
• 展開を促す経済的・科学的・名声動機がある一方、コスト・安全性・展開基準の欠如といった障壁がある。