[論文レビュー] Risks and Opportunities of Open-Source Generative AI

Francisco Eiras, Aleksander Petrov+23 more|arXiv (Cornell University)|May 14, 2024

Scientific Computing and Data Management被引用数 6

ひとこと要約

本論文は、オープンソースの生成AIが近期から中期および長期の展望で純粋な利益をもたらすと主張し、モデル構成要素のオープネス分類（オープネスの分類体系）を検討し、複数地域のガバナンスを検討し、リスクを緩和するための政策とベストプラクティスの推奨を提供する。

ABSTRACT

Applications of Generative AI (Gen AI) are expected to revolutionize a number of different areas, ranging from science & medicine to education. The potential for these seismic changes has triggered a lively debate about the potential risks of the technology, and resulted in calls for tighter regulation, in particular from some of the major tech companies who are leading in AI development. This regulation is likely to put at risk the budding field of open-source generative AI. Using a three-stage framework for Gen AI development (near, mid and long-term), we analyze the risks and opportunities of open-source generative AI models with similar capabilities to the ones currently available (near to mid-term) and with greater capabilities (long-term). We argue that, overall, the benefits of open-source Gen AI outweigh its risks. As such, we encourage the open sourcing of models, training and evaluation data, and provide a set of recommendations and best practices for managing risks associated with open-source generative AI.

研究の動機と目的

• Gen AI開発の3段階フレームワーク（近期、中期、長期）を定義し、各段階におけるオープンソースの含意を評価する。
• Gen AIモデル構成要素のオープネス分類を提案し、著名なLLMをそのオープン度のレベルで分類する。
• EU・US・中国・中東・その他地域のオープンソースGen AIに影響を及ぼすガバナンス、規制環境、地域政策を検討する。
• オープンソースGen AIのリスクと緩和戦略を特定し、近期から中期の段階での責任あるオープンソース化を提唱する。
• イノベーションと安全性・説明責任のバランスを取るための政策提言とベストプラクティスを提供する。）

提案手法

• 採用率と能力成長に焦点を当てたGen AIの3段階開発フレームワークを開発（近期、中期、長期）。
• トレーニング、評価、デプロイメントパイプラインのコードとデータにおける「完全閉鎖」「半開放（サブカテゴリあり）」「完全公開」のオープネス分類を構築。
• 2019–2024の45の高インパクトLLMに分類法を適用し、パイプライン構成要素、モデルウェイト、データ、評価コードのオープン度を評価する。
• 近期〜中期モデルにおける4つの影響領域（研究/イノベーション、安全/セキュリティ、公平性/アクセス、社会的影響）について対比的な社会技術分析を実施し、長期のAGIの考慮事項とアラインメントを論じる。
• 世界的な規制枠組み（EU AI Act、Biden EO、中国のGenerative AI Measures、中東の政策）を調査し、オープンソースGen AIに与える影響を要約する。
• 安全で責任あるオープンソース化を実現するための政策立案者と開発者向けの推奨事項とベストプラクティスを提供する。）

Figure 1 : Three Development Stages for Generative AI Models : near-term is defined by early use and exploration of the technology in much of its current state; mid-term is a result of the widespread adoption of the technology and further scaling at current pace; long-term is the result of technolog

実験結果

リサーチクエスチョン

• RQ1 現在のGen AIモデルにおけるトレーニング、評価、デプロイメントの各構成要素を通じたオープンソースのオープネスの現状は何か。
• RQ2 オープンソースGen AIの近期〜中期のリスクと機会は何か、そしてそれらはどう緩和できるか。
• RQ3 長期的な展開（例：AGI）がオープンソースのガバナンスと安全性の利点にどう影響するか。
• RQ4 既存または開発中の規制枠組みは何か、それらはオープンソースGen AIの実践をどう形作るか。
• RQ5 オープンソースGen AIの利益を最大化しつつリスクを最小化するための政策と運用のベストプラクティスは何か。）

主な発見

• オープンソースGen AIは研究とイノベーションの近〜中期に純粋な正の影響をもたらすが、クローズドモデルと比較して性能ギャップがある。
• トレーニングデータと安全性評価における閉鎖コンポーネントへの偏りがあり、オープンソースの利益とリスク緩和を制約している。
• よりオープンなパイプラインを持つモデルは閉鎖モデルと比べて性能が劣る傾向があり、オープン性と性能のトレードオフを示す。
• 規制体制（EU AI Act、US Executive Order、中国の対策）はガバナンスを形作るが、一般にオープンソースAIの経済的利益を認め、透明性と安全義務を強調している。
• 長期のAGI展望は、存在論的リスクの低減とガバナンスの分散化を改善する潜在的手段として、オープンソースを通じた技術的アラインメントとリスク緩和を強調する。
• 本論文は、開放性と安全性のバランスを取るための政策指針とベストプラクティスを伴う責任あるオープンソース開発を提唱する。）

Figure 2 : Model Pipeline : pipeline of model (1) training, (2) evaluation and (3) deployment analyzed in the report. The component Common Benchmarks Evaluation (in light gray) is included in the pipeline for completeness yet will not be analyzed in detail as these are commonly available and transve