[論文レビュー] Why and How Governments Should Monitor AI Development

Jess Whittlestone, Jack Clark|arXiv (Cornell University)|Aug 28, 2021

Ethics and Social Impacts of AI参考文献 15被引用数 15

ひとこと要約

本論文は、政府がAIの能力、展開、影響をリアルタイムで追跡するための包括的で体系的な測定・監視インフラを構築すべきだと提言している。このインフラは、政府主導の調整と第三者研究の両方を組み合わせたハイブリッドモデルに基づく。こうした取り組みにより、政府は規制監視を強化し、リスクを早期に特定し、AI開発を社会的裨益に向かって導くことができる。

ABSTRACT

In this paper we outline a proposal for improving the governance of artificial intelligence (AI) by investing in government capacity to systematically measure and monitor the capabilities and impacts of AI systems. If adopted, this would give governments greater information about the AI ecosystem, equipping them to more effectively direct AI development and deployment in the most societally and economically beneficial directions. It would also create infrastructure that could rapidly identify potential threats or harms that could occur as a consequence of changes in the AI ecosystem, such as the emergence of strategically transformative capabilities, or the deployment of harmful systems. We begin by outlining the problem which motivates this proposal: in brief, traditional governance approaches struggle to keep pace with the speed of progress in AI. We then present our proposal for addressing this problem: governments must invest in measurement and monitoring infrastructure. We discuss this proposal in detail, outlining what specific things governments could focus on measuring and monitoring, and the kinds of benefits this would generate for policymaking. Finally, we outline some potential pilot projects and some considerations for implementing this in practice.

研究の動機と目的

• AIの急速な発展が、従来のガバナンスメカニズムを追い越すという、政策的課題に対応すること。
• AIシステムに関するタイムリーで高品質なデータを提供することで、政府と民間AI開発者との間の情報非対称性を低減すること。
• AI技術の早期警戒システムと統合された影響評価を通じて、予防的ガバナンスを実現すること。
• 資金配分、規制、戦略的計画の改善を可能にするために、AIの進捗、展開、社会的影響を評価する国別能力を強化すること。
• 民間セクターによるAI監視の独占を防ぐため、市民や公共利益に配慮した測定インフラを確保すること

提案手法

• AI研究開発の進捗を追跡するため、文献計測分析、オープンソースデータ、ベンチマークの活用。
• 実装済みAIシステムの継続的モニタリングを実施し、潜在的な被害を検出するとともに、実世界への影響を評価。
• AIによる被害の事例を記録・分析するための国家AIインcidンスデータベースを設立。
• セクター別AIの導入・展開を追跡することで、社会的・経済的影響を予測。
• 異なる主体間で、AIの重要な入力要因（人材、計算リソース、データ）の支配状況をモニタリング。
• ハイブリッドガバナンスモデルを導入：政府主導の調整に加え、学術界および産業界からの第三者貢献を組み込む。

実験結果

リサーチクエスチョン

• RQ1 政府は、急速な発展に追いつくために、AIの能力と影響をどのように体系的かつリアルタイムで測定・監視できるか？
• RQ2 政府がAIの展開とリスクを理解を深めるために、どのような具体的なデータストリームと分析手法が有効か？
• RQ3 測定インフラは、高リスクなAI開発やシステム的被害を早期に検知するのにどのように役立つか？
• RQ4 政府による効果的でスケーラブルで、商業的バイアスのないAI監視を実現するための制度的モデルは何か？
• RQ5 AI監視は、規制準拠、資金配分の優先順位付け、政策連携をどのように改善できるか？

主な発見

• 政府主導の測定インフラがなければ、民間主体がAI監視を支配し、公共の利益ではなく限定的な商業的利益に沿ったものになるだろう。
• 政府と民間AI開発者との間の情報非対称性が拡大し、反応的で根拠の乏しい政策立案が生じる。
• AIインシデントデータベースや地理的文献計測分析といったパイロット・イニシャチブは、国家レベルのAI競争力とリスクに関する初期のインサイトを提供できる。
• セクター別AI展開の監視により、自動化による労働市場や経済的影響の予測がより的確に可能になる。
• 計算リソース、データ、人材といった重要な入力の支配状況を追跡することで、AIエコシステム内での規制介入のポイントや権力の不均衡を特定できる。
• 政府主導で第三者の貢献を組み合わせたハイブリッドモデルは、監視能力を効果的に拡大しつつ、公共の責任を維持できる。