[論文レビュー] Open-Sourcing Highly Capable Foundation Models: An evaluation of risks, benefits, and alternative methods for pursuing open-source objectives

Elizabeth Seger, Noemi Dreksler+20 more|arXiv (Cornell University)|Sep 29, 2023

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

この論文は、高度な能力を持つ基盤モデルをオープンソース化するリスクと利点を評価し、一部の先進的モデルに関しては、生物兵器やサイバー攻撃への悪用を助長するなど、極めて深刻なリスクがオープンソース化の利点を上回る可能性があると主張している。リスクに基づいたアプローチを提唱し、危険を最小限に抑えるために、慎重なモデル公開意思決定と、ゲート付きアクセスや研究用APIといった代替共有方法の導入を提言している。これにより、開かれている一方で、被害を最小限に抑えることが可能になる。

ABSTRACT

Recent decisions by leading AI labs to either open-source their models or to restrict access to their models has sparked debate about whether, and how, increasingly capable AI models should be shared. Open-sourcing in AI typically refers to making model architecture and weights freely and publicly accessible for anyone to modify, study, build on, and use. This offers advantages such as enabling external oversight, accelerating progress, and decentralizing control over AI development and use. However, it also presents a growing potential for misuse and unintended consequences. This paper offers an examination of the risks and benefits of open-sourcing highly capable foundation models. While open-sourcing has historically provided substantial net benefits for most software and AI development processes, we argue that for some highly capable foundation models likely to be developed in the near future, open-sourcing may pose sufficiently extreme risks to outweigh the benefits. In such a case, highly capable foundation models should not be open-sourced, at least not initially. Alternative strategies, including non-open-source model sharing options, are explored. The paper concludes with recommendations for developers, standard-setting bodies, and governments for establishing safe and responsible model sharing practices and preserving open-source benefits where safe.

研究の動機と目的

• オープンソース化された高度な基盤モデルが、透明性と協働の利点を上回る許容できないリスクをもたらすかどうかを評価すること。
• オープンソース化が、攻撃者による安全対策の回避や、標的攻撃の能力向上を助長するため、リスクの高い状況（例：兵器開発、大規模なフェイクニュース拡散）を悪化させる仕組みを検討すること。
• 完全なモデル重みの公開を避けながらも、オープンソースの目的（監視、イノベーション促進など）を達成できる、より安全な代替手法（段階的リリース、研究用API、セキュアな共同作業）を検討すること。
• 開発者、規制当局、基準策定機関が、責任あるモデル共有慣行を実施するにあたり、実行可能な提言を提供すること。
• 全般的なオープンソース化から、文脈に応じた、リスクを踏まえた意思決定へのシフトを提唱すること。特に、社会的影響が顕著な可能性のあるモデルに関しては、その重要性を踏まえた判断が不可欠である。

提案手法

• 攻撃・防御のダイナミクスに注目した、オープンソース共有と制限付き共有の比較分析を実施。AIの悪用シナリオにおけるリスク評価に焦点を当てる。
• 悪意ある行動者が安全機能を無効化し、有害な目的に向けた微調整を行うために、モデル重みやアーキテクチャへのアクセスがどのように利用されるかを評価する。
• ゲート付きアクセス、研究用API、段階的リリースといった代替的モデル共有メカニズムを提言し、透明性とリスク低減の両立を図る。
• 責任制度や事前規制といった法的・政策的ツールの役割を分析し、自発的なオープンソース化に依存せず、安全基準の遵守を強制する仕組みを構築する。
• ガバナンス、AIセーフティ、政策研究の知見を統合し、責任あるモデルリリース意思決定のフレームワークを構築する。
• AI能力の発展トレンドと事例研究を活用し、ますます高度化するモデルをオープンソース化する際の将来のリスクを予測する。

実験結果

リサーチクエスチョン

• RQ1 高度な基盤モデルをオープンソース化する際、透明性と協働の利点を上回るリスクが生じる条件とは何か？
• RQ2 オープンソース化が、AIの悪用における攻撃・防御のバランスをどのように変化させるか。特に兵器化、サイバー攻撃、フェイクニュース拡散の文脈で。
• RQ3 オープンソースの利点（監視、イノベーション促進）を維持しつつ、悪用のリスクを低減できる代替のモデル共有戦略とは何か？
• RQ4 責任と法的枠組みは、イノベーションを阻害することなく、責任あるモデルリリースを確保するために、どのように設計されるべきか？
• RQ5 開発者や規制当局が、モデルのオープンソース化を避けるべき基準とは何か。特に、非常に高い能力を持つモデルであっても、その基準を満たす必要がある。

主な発見

• 高度な基盤モデルをオープンソース化すると、生物兵器や化学兵器の開発、大規模なサイバー攻撃の助長といった極めて深刻なリスクが生じる可能性があり、透明性や協働の利点を上回る恐れがある。
• オープンソース化は、モデル欠陥の下流での拡散リスクを高めるとともに、微調整や重みの操作によって、悪意ある行動者が安全対策を容易に回避できるようになる。
• 高度なモデルでは、AIの悪用における攻撃・防御のバランスが、攻撃寄りにシフトしている。オープンソース化により、攻撃者が脆弱性や攻撃表面を詳細に把握できるようになるためである。
• 段階的リリース、研究用API、ゲート付きアクセスといった代替共有方法は、リスクを低減しつつ、オープンソースの多くの利点を達成できるが、一般コミュニティの参加が制限される可能性がある。
• 事前規制による安全対応の義務化は必要不可欠であるが、責任制度だけでは、悪用事例における帰属や因果関係の問題により、十分ではない。
• モデルリリース意思決定は包括的なリスクアセスメントに基づき、安全対策能力や社会的レジリエンスの変化に柔軟に対応するべきである。