[論文レビュー] AI Risk Categorization Decoded (AIR 2024): From Government Regulations to Corporate Policies

Yi Zeng, Kevin Klyman+7 more|arXiv (Cornell University)|Jun 25, 2024

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本論文は、EU、米国、中国、および16のグローバル企業の24の政策文書を統合して開発した、包括的な4段階構造のAIリスク分類体系であるAIR 2024を提案する。これにより、314の独自のリスクカテゴリを同定した。公共部門と民間部門のフレームワークを照合することで、規制のギャップを明らかにするとともに、企業のポリシーがより詳細であることを示し、分野横断的な協働およびAIセーフティ評価の標準化された言語を提供する。

ABSTRACT

We present a comprehensive AI risk taxonomy derived from eight government policies from the European Union, United States, and China and 16 company policies worldwide, making a significant step towards establishing a unified language for generative AI safety evaluation. We identify 314 unique risk categories organized into a four-tiered taxonomy. At the highest level, this taxonomy encompasses System & Operational Risks, Content Safety Risks, Societal Risks, and Legal & Rights Risks. The taxonomy establishes connections between various descriptions and approaches to risk, highlighting the overlaps and discrepancies between public and private sector conceptions of risk. By providing this unified framework, we aim to advance AI safety through information sharing across sectors and the promotion of best practices in risk mitigation for generative AI models and systems.

研究の動機と目的

• 公共部門と民間部門の両方の視点を網羅する統一されたAIリスク分類体系の欠如に応える。
• 生成AI関連のリスクをAI企業と政府がどのように分類しているかを体系的に分析する。
• 政府の規制と企業ポリシーの間の差異と重複を特定し、より効果的なリスク低減に寄与する。
• 国境や業界を越えて一貫したAIセーフティ評価を支援する、標準化された詳細なフレームワークを構築する。
• 今後の政策立案、ベンチマーク作成、国際的協力のためのデータドリブンな基盤を提供する。

提案手法

• EU、米国、中国の8件の政府規制および16件の企業ポリシーを含む24件の政策文書を、一行ごとの分析を実施。
• すべての独自のリスク記述を、4段階の階層的分類体系（第1段階：4つのハイレベルカテゴリ、第2段階：18のサブカテゴリ、第3段階：104のサブサブカテゴリ、第4段階：314の原子的リスクタイプ）に抽出・マッピング。
• リスクを4つの主要ドメインに分類：システム・オペレーションリスク、コンテンツセーフティリスク、社会的リスク、法的権利リスク。
• 分類体系を用いて、国境やセクターを越えた比較分析を実施し、整合性、カバー範囲、詳細度を評価。
• 中国の生成AIサービス一時的措置およびDeepSeekとBaiduのポリシーを事例として、法的要件と企業実務の整合性を評価。
• 第3段階および第4段階のマッピングを用いて、リスクカテゴリの重複と乖離を定量的に分析し、政策カバレッジとコンプライアンスギャップに関する統計的レポートを提供。

Figure 1 : Overview of the AI risk taxonomy derived from 24 policy and regulatory documents, encompassing 314 unique risk categories. Charts on the right-hand side map to major AI regulations.

実験結果

リサーチクエスチョン

• RQ1 EU、米国、中国における政府規制と企業ポリシーは、AIリスクの分類においてどのように異なるか？
• RQ2 企業のAIポリシーは、現在の政府規制で明示的に取り上げられていないリスクカテゴリをどの程度カバーしているか？
• RQ3 公共部門と民間部門のフレームワークにおけるAIリスク定義の詳細度と範囲に、どのようなギャップや一貫性の欠如があるか？
• RQ4 中国の企業ポリシーにおけるリスクカテゴリは、中国の生成AIサービス一時的措置で法的に義務付けられたリスクカテゴリとどの程度整合しているか？
• RQ5 実際の政策から導出された統一された分類体系は、AIセーフティベンチマークの向上および国境を越えた政策連携の基盤として機能できるか？

主な発見

• AIR 2024分類体系は、314の独自のリスクカテゴリを4段階の階層に整理し、AIリスク評価において前例のない詳細度を提供する。
• 企業ポリシーは、中国の生成AIサービス一時的措置で規定されたリスクカテゴリの90％以上をカバーしており、2つの特定のリスクタイプを除き、強い整合性を示している。
• 本研究で分析した2つの中国企業（DeepSeekおよびBaidu）は、ポリシーに「システムの自己制御不能な運用」または「厳密に規制される分野における助言」を明示的に記載していなかったが、類似するリスクをカバーする免責条項を含んでいた。
• EUのAI法や米国の大統領専門令など、政府規制は企業ポリシーに比べてリスクカテゴリが少ないことが判明し、規制フレームワークが実効的な執行に十分な詳細を欠いている可能性を示唆している。
• 分析から、企業ポリシーは自己傷害の助長やオペレーションの悪用など、特に規制要件を上回る予防的アプローチをとっていることが判明し、今後の規制立案に業界実務の知見を活用できる可能性がある。
• 高レベルでのリスクカテゴリの整合性は高いが、第2段階の一致は第4段階での顕著な不一致を隠す可能性があり、政策およびセーフティ評価における詳細な原子的リスク分類の重要性を強調している。

Figure 3 : EU regulations specified AI risks mapped as 23 level-3 categories in the AIR 2024.