[論文レビュー] On the Societal Impact of Open Foundation Models

Sayash Kapoor, Rishi Bommasani+23 more|arXiv (Cornell University)|Feb 27, 2024

3D Modeling in Geospatial Applications被引用数 11

ひとこと要約

本論文は、オープンファウンデーションモデルの5つの独自特性を定義し、悪用リスクの限界を評価する枠組みを構築し、提唱される社会的利益とリスクを実証的に立証して政策と実践を導くことを提案する。

ABSTRACT

Foundation models are powerful technologies: how they are released publicly directly shapes their societal impact. In this position paper, we focus on open foundation models, defined here as those with broadly available model weights (e.g. Llama 2, Stable Diffusion XL). We identify five distinctive properties (e.g. greater customizability, poor monitoring) of open foundation models that lead to both their benefits and risks. Open foundation models present significant benefits, with some caveats, that span innovation, competition, the distribution of decision-making power, and transparency. To understand their risks of misuse, we design a risk assessment framework for analyzing their marginal risk. Across several misuse vectors (e.g. cyberattacks, bioweapons), we find that current research is insufficient to effectively characterize the marginal risk of open foundation models relative to pre-existing technologies. The framework helps explain why the marginal risk is low in some cases, clarifies disagreements about misuse risks by revealing that past work has focused on different subsets of the framework with different assumptions, and articulates a way forward for more constructive debate. Overall, our work helps support a more grounded assessment of the societal impact of open foundation models by outlining what research is needed to empirically validate their theoretical benefits and risks.

研究の動機と目的

• オープンファウンデーションモデルがクローズドなモデルとどう異なるか、そしてなぜ社会にとってこの違いが重要なのかを特定する。
• 主要な悪用ベクトルに跨るオープンファウンデーションモデルの限界悪用リスクを評価する枠組みを開発する。
• 社会的利益（イノベーション、競争、透明性など）を明示し、それらが具体化する条件を示す。
• 利益をより検証し、リスクを緩和するための政策と研究の推奨事項を提供する。

提案手法

• モデルウェイトが広く利用可能なものとしてオープンファウンデーションモデルを定義し、これをクローズドモデルと対比させる。
• オープンモデルの5つの独自特性を列挙する：より広いアクセス、より高いカスタマイズ性、ローカル推論、アクセスの不可逆性、監視の弱さ。
• 限界悪用リスクの6段階評価フレームワークを提案する（脅威識別、既存リスク、既存の防御、等）。
• ディスインフォメーション、バイオセキュリティ、サイバーセキュリティ、NCII、詐欺など、7つの悪用ベクトルを調査して限界リスクを評価する。
• 本フレームワークが先行研究の相違をどのように明確化し、実証的検証を導くかを論じる。

実験結果

リサーチクエスチョン

• RQ1 オープンファウンデーションモデルとクローズドモデルを区別する独自の特性は何か、それらの特性が社会的な利益とリスクへどう結びつくのか？
• RQ2 さまざまな悪用ベクトルにわたるオープンファウンデーションモデルの限界リスクをどのように評価すべきか、これらのリスクを実証的に検証するためにどの証拠が必要か？
• RQ3 政策立案者、研究者、開発者が安全性、透明性、イノベーションを改善しつつ害を緩和するために、どのようにこのフレームワークを活用できるか？

主な発見

• オープンファウンデーションモデルはアクセスを拡大し、カスタマイズを可能にし、ローカル推論を支援し、透明性の向上にも寄与する可能性がある。これらはイノベーションと競争に影響を与える。
• 限界リスクのフレームワークは、なぜ一部の悪用リスクが低く見えるのか、そして先行研究が異なるフレームワークの要素に焦点を当てているために意見が分かれるのかを説明できる。
• いくつかの悪用ベクトルに対する限界リスクの実証的証拠は現在乏しく、より基礎づけられた研究の必要性を示している。
• 本論文は、開発者、研究者、規制当局、政策立案者に向けて、社会的影響をより適切に評価し、適切な安全策を設計するための具体的な指針を提供する。