[論文レビュー] The Necessity of AI Audit Standards Boards

David Manheim, Sammy Martin+3 more|arXiv (Cornell University)|Apr 11, 2024

Ethics and Social Impacts of AI被引用数 7

ひとこと要約

本論は静的なAI監査基準が不十分であり、潜在的に有害になり得ると主張し、AIライフサイクル全体にわたる監査方法を開発・進化させる専用のAI監査基準委員会を提案し、統治、文化、マルチステークホルダーの関与を組み込む。

ABSTRACT

Auditing of AI systems is a promising way to understand and manage ethical problems and societal risks associated with contemporary AI systems, as well as some anticipated future risks. Efforts to develop standards for auditing Artificial Intelligence (AI) systems have therefore understandably gained momentum. However, we argue that creating auditing standards is not just insufficient, but actively harmful by proliferating unheeded and inconsistent standards, especially in light of the rapid evolution and ethical and safety challenges of AI. Instead, the paper proposes the establishment of an AI Audit Standards Board, responsible for developing and updating auditing methods and standards in line with the evolving nature of AI technologies. Such a body would ensure that auditing practices remain relevant, robust, and responsive to the rapid advancements in AI. The paper argues that such a governance structure would also be helpful for maintaining public trust in AI and for promoting a culture of safety and ethical responsibility within the AI industry. Throughout the paper, we draw parallels with other industries, including safety-critical industries like aviation and nuclear energy, as well as more prosaic ones such as financial accounting and pharmaceuticals. AI auditing should emulate those fields, and extend beyond technical assessments to include ethical considerations and stakeholder engagement, but we explain that this is not enough; emulating other fields' governance mechanisms for these processes, and for audit standards creation, is a necessity. We also emphasize the importance of auditing the entire development process of AI systems, not just the final products...

研究の動機と目的

• 静的で拡散するAI監査基準が不十分であり、潜在的に有害であると主張する。
• 監査方法と基準を開発・更新するAI監査基準委員会の設置を提案する。
• 進化するリスクと倫理に対応するため、最終製品だけでなくAI開発ライフサイクル全体の監査を提唱する。
• 効果的なAI監査における文化、ガバナンス、ステークホルダーの関与の役割を強調する。

提案手法

• 安全性が極めて重要な産業（航空、原子力、製薬）からの既存のAI監査実践、基準、ガバナンスモデルを検討する。
• 現在の静的基準とモデル中心の評価の限界を批判的に分析する。
• 3つの柱アプローチを提案する：プロセスを監査、安全文化を育成、独立した基準委員会を権限づける。
• プロセス監査、継続的なステークホルダーエンゲージメント、開発と展開を通じたライフサイクルリスク分析を提唱する。
• 基盤モデルの能力と悪用リスクに追随するため、迅速で適応的な基準開発を主張する。

実験結果

リサーチクエスチョン

• RQ1 現在の静的なAI監査基準とモデル中心の評価の限界は何か？
• RQ2 独立したAI監査基準委員会は、AI監査の関連性・頑健性・公衆の信頼をどう改善できるか？
• RQ3 プロセス・文化・ガバナンスに対応するため、どの安全性が極めて重要な産業の実践をAI監査に適用すべきか？
• RQ4 新興AI能力に対して、訓練中および開発ライフサイクル全体で監査が必要な理由は何か？

主な発見

• 静的で事前デプロイの基準は、急速なAIの進化と新たな能力に追いつかない。
• 監査はデータソーシング・訓練・デプロイ後の監視を含む開発ライフサイクル全体をカバーする必要がある。
• 安全文化志向のマルチステークホルダー・ガバナンスモデルは、監査の有効性と公衆の信頼を高める。
• 内部実践を超える監査規範を開発・更新・公表するために、独立したAI監査基準委員会が必要。
• 継続的で動的なリスク評価は、安全性の偽装を防ぎ、将来の悪用リスクに対処するために不可欠。