[論文レビュー] The Gradient of Generative AI Release: Methods and Considerations

Irene Solaiman|arXiv (Cornell University)|Feb 5, 2023

Scientific Computing and Data Management被引用数 16

ひとこと要約

この論文は、生成系AIリリースの6つのアクセスレベルを評価する勾配フレームワークを提示し、リリース傾向と安全対策を分析し、リスクを緩和するための学際的ガバナンスと投資を提唱する。

ABSTRACT

As increasingly powerful generative AI systems are developed, the release method greatly varies. We propose a framework to assess six levels of access to generative AI systems: fully closed; gradual or staged access; hosted access; cloud-based or API access; downloadable access; and fully open. Each level, from fully closed to fully open, can be viewed as an option along a gradient. We outline key considerations across this gradient: release methods come with tradeoffs, especially around the tension between concentrating power and mitigating risks. Diverse and multidisciplinary perspectives are needed to examine and mitigate risk in generative AI systems from conception to deployment. We show trends in generative system release over time, noting closedness among large companies for powerful systems and openness among organizations founded on principles of openness. We also enumerate safety controls and guardrails for generative systems and necessary investments to improve future releases.

研究の動機と目的

• 完全にクローズドから完全にオープンまで、生成系AIシステムのリリースアクセスを分類する勾配フレームワークを提案する。
• モダリティと組織タイプを横断する歴史的なリリース傾向を分析する。
• より安全な将来のリリースを可能にする安全対策、ガードレール、および必要な投資を特定する。
• AIリリースのガバナンス、政策、実践的倫理における学際的視点を主張する。

提案手法

• リリース意思決定を構造化するため、(完全に閉鎖から完全に開放まで)の6段階勾配のシステムアクセスを定義する。
• リリースに関与する要素を分類する：モデルアクセス、リスク分析コンポーネント、レプリケーションコンポーネント。
• 権力の集中、リスク緩和、説明責任を含む主要なリリースの考慮事項を概説する。
• 文書化、技術ツール、コミュニティの努力、ポリシー措置を横断する安全対策とガードレールを要約する。
• 時系列で大企業とオープンイニシアティブにおけるリリース時期と公開性の傾向を分析する。

実験結果

リサーチクエスチョン

• RQ1 生成系AIリリースの勾配における明確なレベルは何で、それらはアクセスと制御にどのような意味を持つのか？
• RQ2 リリース手法は実際に権力の集中とリスク・安全性をどのようにトレードオフするのか？
• RQ3 リリースレベル全体で有効な安全対策、ガードレール、ガバナンス機構は何か？
• RQ4 モダリティや組織間で観察される公開性と秘密主義の歴史的傾向は何か？
• RQ5 将来の責任あるリリースを改善するために必要な投資と学際的な行動は何か。

主な発見

• オープンリリースは小規模な組織で、より強力でないモデルに対して一般的だが、より大きな企業はクローズドリリースに傾く。
• オープン性を掲げる組織のオープンなイニシアティブは完全な透明性を示すが、リスクのある利用を可能にすることがある。クローズドリリースは権力を集中させる。
• 文書化、レートリミット、検出モデル、およびライセンスは、リリース全体で利用される実践的な安全対策の例である。
• 学際的な専門知識とガバナンスは、リリースライフサイクル全体で有害事象を予測、評価、緩和するために不可欠である。
• 将来のリリースを改善するには、アクセスしやすいインターフェース、リソース共有、倫理教育、専門家の先見を含むかなりの投資が必要である。