[論文レビュー] Actionable Guidance for High-Consequence AI Risk Management: Towards Standards Addressing AI Catastrophic Risks

Anthony M. Barrett, Dan Hendrycks+2 more|arXiv (Cornell University)|Jun 17, 2022

Ethics and Social Impacts of AI被引用数 8

ひとこと要約

この論文は、NIST AIリスク管理フレームワーク（AI RMF）を具体的なリスク管理実践に翻訳することで、特に深刻な社会的規模の被害を引き起こす可能性のあるAIリスクを管理するための実務的で実行可能なガイダンスを提供する。不正利用や意図しない利用の特定、懸念されるリスク要因の統合、人権侵害の緩和、リスク要因の報告に関する詳細な提言を含み、AI基準の強化と包括的なAI安全性に関する対話を促進することを目的としている。

ABSTRACT

Artificial intelligence (AI) systems can provide many beneficial capabilities but also risks of adverse events. Some AI systems could present risks of events with very high or catastrophic consequences at societal scale. The US National Institute of Standards and Technology (NIST) has been developing the NIST Artificial Intelligence Risk Management Framework (AI RMF) as voluntary guidance on AI risk assessment and management for AI developers and others. For addressing risks of events with catastrophic consequences, NIST indicated a need to translate from high level principles to actionable risk management guidance. In this document, we provide detailed actionable-guidance recommendations focused on identifying and managing risks of events with very high or catastrophic consequences, intended as a risk management practices resource for NIST for AI RMF version 1.0 (released in January 2023), or for AI RMF users, or for other AI risk management guidance and standards as appropriate. We also provide our methodology for our recommendations. We provide actionable-guidance recommendations for AI RMF 1.0 on: identifying risks from potential unintended uses and misuses of AI systems; including catastrophic-risk factors within the scope of risk assessments and impact assessments; identifying and mitigating human rights harms; and reporting information on AI risk factors including catastrophic-risk factors. In addition, we provide recommendations on additional issues for a roadmap for later versions of the AI RMF or supplementary publications. These include: providing an AI RMF Profile with supplementary guidance for cutting-edge increasingly multi-purpose or general-purpose AI. We aim for this work to be a concrete risk-management practices contribution, and to stimulate constructive dialogue on how to address catastrophic risks and associated issues in AI standards.

研究の動機と目的

• 高レベルのAIリスク原則を、深刻なAIリスクを管理するための具体的かつ実装可能な実践に翻訳するというギャップを埋める。
• NIST AI RMF 1.0を支援するために、深刻なリスクに特化した詳細かつ実行可能な提言を提供する。
• 標準的なAIリスクおよび影響評価に、深刻なリスク要因を統合することで、リスク評価フレームワークを強化する。
• AI開発および展開全体で深刻なリスク要因の体系的報告を促進することで、AIガバナンスを強化する。
• 将来のAI基準の土台を築くために、今後のAI RMFバージョンで想定される汎用的およびマルチユースAIシステムのためのロードマップを提示する。

提案手法

• NIST AI RMFの原則を具体的かつ実行可能なリスク管理実践に具体化するための構造的アプローチを開発した。
• 高度なAIシステムが引き起こす可能性のある、意図しない利用、不正利用、およびシステム的・社会的被害といった主要なリスク分野を特定した。
• AI RMFフレームワーク内での既存のAIリスクおよび影響評価プロセスに、深刻なリスク要因を統合する手法を提言した。
• 特に深刻なAIアプリケーションに焦点を当てた人権影響評価のためのガイダンスを策定した。
• 深刻なリスクを有する可能性のあるリスク要因を含む、AIリスク要因の報告フレームワークを提言した。
• 将来の標準化を支援するための、最先端のマルチユースまたは汎用AIシステム向けのAI RMFプロファイルを提示した。

実験結果

リサーチクエスチョン

• RQ1 NIST AI RMFの高レベルなAIリスク原則は、どのように具体的かつ実行可能なリスク管理実践に翻訳できるか？
• RQ2 AI開発において体系的に特定・管理すべき、深刻な社会的影響を伴うリスク要因は何か？
• RQ3 リスク管理フレームワーク内でのAIシステムの不正利用および意図しない利用は、どのように前もって評価・緩和できるか？
• RQ4 人権影響評価は、深刻なAIリスクを管理するうえで果たすべき役割は何か？
• RQ5 AI開発者および組織は、透明性と責任の確保を図るために、どのようにして深刻なリスク要因を効果的に報告できるか？

主な発見

• この論文は、NIST AI RMFフレームワーク内での深刻なAIリスクの特定および管理に向けた包括的な実行可能な提言を提供している。
• 標準的なAIリスクおよび影響評価に深刻なリスク要因を統合する明確な道筋を確立し、システム的リスクへの認識を高めている。
• 深刻な社会的影響を伴うリスク要因を含む、AIリスク要因の報告に関する構造的アプローチを提言しており、透明性を向上させている。
• 汎用的およびマルチユースAIシステム向けのAI RMFプロファイルの提案を含み、将来の標準化作業を支援している。
• 実証的根拠に基づいたフレームワークを提供することで、システム的かつ高影響リスクに対処するAIリスク管理の進化に貢献している。
• 提言はNIST AI RMF 1.0の最終版と整合しており、開発者および規制当局における実用的有用性を高めることを目的としている。