[論文レビュー] Outsider Oversight: Designing a Third Party Audit Ecosystem for AI Governance

Inioluwa Deborah Raji, Peggy Xu+2 more|arXiv (Cornell University)|Jun 9, 2022

Ethics and Social Impacts of AI被引用数 11

ひとこと要約

この論文は、金融、環境、医療分野の規制制度の設計を応用することで、独立的で効果的な監査を確保する第三者監査エコシステムをAIガバナンスに提案する。アルゴリズム監査だけでは、監査の責任を確保できないと主張し、監査官の独立性、アクセス権、透明性といった制度的改革が不可欠である。外部監視機関の能力を高めるための包括的で根本的な再設計を求める。

ABSTRACT

Much attention has focused on algorithmic audits and impact assessments to hold developers and users of algorithmic systems accountable. But existing algorithmic accountability policy approaches have neglected the lessons from non-algorithmic domains: notably, the importance of interventions that allow for the effective participation of third parties. Our paper synthesizes lessons from other fields on how to craft effective systems of external oversight for algorithmic deployments. First, we discuss the challenges of third party oversight in the current AI landscape. Second, we survey audit systems across domains - e.g., financial, environmental, and health regulation - and show that the institutional design of such audits are far from monolithic. Finally, we survey the evidence base around these design components and spell out the implications for algorithmic auditing. We conclude that the turn toward audits alone is unlikely to achieve actual algorithmic accountability, and sustained focus on institutional design will be required for meaningful third party involvement.

研究の動機と目的

• 有効な第三者監査を可能にするために必要な制度的設計が、AI政策でしばしば見過ごされているというギャップを埋める。
• 金融、環境、医療などの非アルゴリズム分野における監査制度が、AI監査の設計にどのように活かせるかを分析する。
• 監査官の独立性、データアクセス、基準、透明性といった、信頼性のある第三者監査を可能にする制度的要素を特定する。
• 内部監査では不十分であり、AIシステムに対する外部監査を支えるために、包括的な制度的改革が必要であると主張する。
• 企業の主張を検証し、脆弱な集団がAIによる被害を受けないよう保護できる成熟した第三者監査者エコシステムの構築を提唱する。

提案手法

• 金融、環境規制、医療分野における監査制度の比較的多分野的分析を通じて、設計原則を抽出する。
• 既存の監査制度から、監査官の独立性、データアクセス権、報告の透明性といった制度的要素の証拠を統合する。
• 効果的な監査の核心的要素（範囲の明確化、標準化、データへのアクセス、公的開示メカニズム）を特定・評価する。
• フェイスブックの広告差別的行動に関する調査結果など、第三者監査が政策変更、製品回収、法的措置を引き起こした事例を検証する。
• 単なる監査義務付けではなく、持続可能性と信頼性を重視する制度的設計を優先するAIガバナンスの枠組みを提言する。
• 企業の社会的責任分野におけるESG報告の失敗と類似する点から、『安易な発言』（cheap talk）や監査の不正を防ぐリスクを強調する。

実験結果

リサーチクエスチョン

• RQ1 非アルゴリズム分野の監査制度から、AIの信頼性のある第三者監査を実現するために適応可能な制度的設計の特徴は何か？
• RQ2 なぜ、現在のAI責任政策は、監査を強調しながらも、有効な第三者監査を確保できないのか？
• RQ3 監査官の独立性、データへのアクセス、透明性といった要因が、アルゴリズム監査の信頼性と影響力にどのように影響するのか？
• RQ4 第三者がAIシステムを効果的に監査できないシステム的障壁は何か。それらはどのように克服できるか？
• RQ5 繰り返しで標準化された監査は、一般のAIパフォーマンス基準や工学的実務の発展にどのような形で寄与するか？

主な発見

• 監査官の独立性やデータアクセスといった制度的保護策が欠如していると、AIにおける第三者監査は無効になり、不十分または表面的な評価に終わる。
• アルゴリズム責任法やGDPRといった既存の政策枠組みは、内部監査に大きく依存しており、独立した監査の信頼性や影響力に欠ける。
• 成功事例として頻繁に引用されるESGモデルは、曖昧な基準と『安易な発言』のリスク、低い責任感が伴うため、AIには不適切である。
• フェイスブックの継続的な差別的広告ターゲティングが明らかになった繰り返し監査は、継続的な外部監査が持続的遵守に不可欠であることを示している。
• IEEE P7013という具体的な基準（顔認識用）は、ジェンダーシェイズのような第三者監査によって直接的に形成された。これは、監査が技術的・政策的改善を促進できることを証明している。
• 監査の有効性は本質的ではなく、制度的設計に依存する。監査官の独立性、アクセス、透明性は、信頼性を保証するために体系的に設計されなければならない。