[論文レビュー] Near to Mid-term Risks and Opportunities of Open-Source Generative AI

Francisco Eiras, Aleksandar Petrov+22 more|arXiv (Cornell University)|Apr 25, 2024

Scientific Computing and Data ManagementDecision Sciences被引用数 3

ひとこと要約

この論文は、近い将来から中長期にかけて生成的AIモデルの責任あるオープンソース化を提唱し、オープンアクセスがイノベーション、セーフティ研究、公平な開発を加速すると主張する。40のLLMに適用された画期的なAIオープンネス分類法を用いて、オープンモデルとクローズドモデルの差別のリスクと利益を特定し、透明性と協働を基盤に社会的利益を最大化すると同時にリスクを軽減するための技術的・倫理的・政策的措置を提言する。

ABSTRACT

In the next few years, applications of Generative AI are expected to revolutionize a number of different areas, ranging from science & medicine to education. The potential for these seismic changes has triggered a lively debate about potential risks and resulted in calls for tighter regulation, in particular from some of the major tech companies who are leading in AI development. This regulation is likely to put at risk the budding field of open-source Generative AI. We argue for the responsible open sourcing of generative AI models in the near and medium term. To set the stage, we first introduce an AI openness taxonomy system and apply it to 40 current large language models. We then outline differential benefits and risks of open versus closed source AI and present potential risk mitigation, ranging from best practices to calls for technical and scientific contributions. We hope that this report will add a much needed missing voice to the current public discourse on near to mid-term AI safety and other societal impact.

研究の動機と目的

• 近い将来から中長期にかけて生成的AIモデルのオープンソース化が、イノベーション、セーフティ研究、公平なアクセスの観点から不可欠であることを主張すること。
• 40の大型言語モデルの現状を評価するために、AIオープンネス分類法を構築し、適用すること。
• 技術的、社会的、規制的次元において、オープンソースとクローズドソースの生成的AIのリスクと利益を比較すること。
• オープンソース生成的AI開発における具体的なリスク軽減戦略、包括的ベストプラクティスおよび技術的貢献を同定・提言すること。
• オープンソース進歩を抑制する可能性のある規制強化の傾向に対し、根拠に基づいたバランスの取れた反論を提示すること。

提案手法

• 採用率と技術的進歩に基づき、時間ではなく段階的発展（近い将来、中長期、長期）に分類する三段階フレームワークを構築した。
• AIオープンネス分類法を適用し、40の大型言語モデルのコード、データ、モデル重みの各側面におけるオープンネスを評価した。
• LLMを焦点に、モデルライフサイクルを三段階（学習、評価、展開）に分類した。
• イノベーション、セーフティ、規制リスクなどの次元において、オープンソースとクローズドソースモデルを比較分析した。
• EU、米国、中国、サウジアラビア、UAE、その他の地域におけるグローバルな規制環境を評価し、オープンソース原則との整合性を検証した。
• モデル監査、透明性、ガバナンスフレームワークを含む、技術的・科学的・政策的措置のセットを提言した。

Figure 1: Three Development Stages for Generative AI Models : near-term is defined by early use and exploration of the technology in much of its current stage; mid-term is a result of the widespread adoption of the technology and further scaling at current pace; long-term is the result of technologi

実験結果

リサーチクエスチョン

• RQ1 近い将来から中長期にかけて生成的AIモデルのオープンソース化に伴う主なリスクとメリットは何か？
• RQ2 生成的AIにおけるオープンネスは、モデルごとに体系的かつ測定可能に分類できるか？
• RQ3 各地域の現在の規制枠組みは、オープンソース生成的AIの開発と配布にどのような影響を及えるか？
• RQ4 強力な生成的モデルをオープンソース化するにあたり、どのような技術的・手続的セーフティ・ガードレールが必要か？
• RQ5 オープンソース生成的AIは、クローズドソースの代替手段と比較して、どのように公平なイノベーションとセーフティ研究に貢献できるか？

主な発見

• AIオープンネス分類法は40の大型言語モデルを的確に分類でき、多くのモデルが部分的にオープンである一方で、重み・データ・コードの全領域での完全な透明性は依然として稀であることが判明した。
• オープンソース化された生成的AIモデルは、クローズドモデルと比較して、より広範なセーフティ研究、より迅速なイノベーション、よりレジilient（回復力のある）システムの構築を可能にする。
• EUや米国における規制努力は、しばしばオープンソース生成的AIを考慮に入れておらず、その開発を脅かす可能性がある。
• UAE やサウジアラビアのような国々は、Falcon や Allam といったイニシアチブを通じてオープンソースAIを強く支援しており、国際的なオープンイノベーションへの傾倒が高まっている。
• 本レポートは、オープンソース化が独占的支配を軽減し、透明性を高めることに寄与するが、強力なリスク軽減措置と併せられて初めてその効果を発揮することを明らかにした。
• 政策的認識のギャップが顕著で、大多数の規制はクローズドモデルや企業主導の展開に焦点を当てており、コミュニティ主導の開発にはほとんど言及していない。

Figure 2: Model Pipeline : stages showing (1) training, (2) evaluation, and (3) deployment analyzed in the report. The component Common Benchmarks Evaluation (light gray) is included for completeness yet will not be analyzed in detail as these are standard and commonly available.