[論文レビュー] Audit and Assurance of AI Algorithms: A framework to ensure ethical algorithmic practices in Artificial Intelligence

Ramya Akula, Iván Garibay|arXiv (Cornell University)|Jul 14, 2021

Ethics and Social Impacts of AI被引用数 7

ひとこと要約

本論文は、倫理的・法的・セキュアな展開を保証するため、AIアルゴリズムの包括的監査および保証フレームワークを提案する。4段階の開発ライフサイクル（データ管理、モデル選定、開発、運用）を提示し、アクセスレベル別に監査タイプ（ホワイトボックス、グレーエックス、ブラックボックス）を定義し、公平性、正確性、耐性、説明可能性、プライバシーといった主要な監査基準を確立する。これにより、信頼できるAIガバナンスの基盤的ロードマップを提供する。

ABSTRACT

Algorithms are becoming more widely used in business, and businesses are becoming increasingly concerned that their algorithms will cause significant reputational or financial damage. We should emphasize that any of these damages stem from situations in which the United States lacks strict legislative prohibitions or specified protocols for measuring damages. As a result, governments are enacting legislation and enforcing prohibitions, regulators are fining businesses, and the judiciary is debating whether or not to make artificially intelligent computer models as the decision-makers in the eyes of the law. From autonomous vehicles and banking to medical care, housing, and legal decisions, there will soon be enormous amounts of algorithms that make decisions with limited human interference. Governments, businesses, and society would have an algorithm audit, which would have systematic verification that algorithms are lawful, ethical, and secure, similar to financial audits. A modern market, auditing, and assurance of algorithms developed to professionalize and industrialize AI, machine learning, and related algorithms. Stakeholders of this emerging field include policymakers and regulators, along with industry experts and entrepreneurs. In addition, we foresee audit thresholds and frameworks providing valuable information to all who are concerned with governance and standardization. This paper aims to review the critical areas required for auditing and assurance and spark discussion in this novel field of study and practice.

研究の動機と目的

• 医療、金融、法執行部門など、意思決定が深刻な影響を及える分野における、非倫理的・不公正・有害なAI意思決定に関する懸念を解決すること。
• 規制当局および社会的注目が高まる中で、標準化された法的拘束力のあるAIシステム監査プロトコルの欠如に応えること。
• 財務監査に類似した、体系的かつ繰り返し可能なAIアルゴリズム監査フレームワークを構築し、責任性と信頼性を確保すること。
• 公平性、正確性、耐性、説明可能性、プライバシーといった重要な次元において、AIシステムを体系的に評価するアプローチを提供すること。
• 規制当局、産業界、学術界が連携し、AIガバナンスの標準化を促進し、アルゴリズム的被害のリスクを低減すること。

提案手法

• 監査可能性の基盤として、4段階のAI開発ライフサイクル（データ管理、モデル選定、開発、運用）を提案する。
• 監査範囲を定義するために、アクセスレベル別に監査タイプを分類する（ホワイトボックス：完全アクセス、グレーエックス：部分的アクセス、ブラックボックス：アクセスなし）。
• 公平性、正確性、耐性、説明可能性、プライバシーの観点からAIシステムを評価する多次元監査フレームワークを導入する。
• 説明可能性と正確性、公平性とプライバシーといった、競合するAI特性の間でトレードオフが生じる場合を想定し、監査意思決定を支援する。
• 運用段階での継続的モニタリングとメトリクス追跡を推奨し、継続的な適合性とリスク低減を確保する。
• 監査結果を正式化し、ステークホルダーの信頼を高めるために、認証および文書化プロセスを提言する。

実験結果

リサーチクエスチョン

• RQ1 AIアルゴリズムの倫理的・法的・技術的整合性を評価するための標準化された監査フレームワークは、どのように設計できるか？
• RQ2 AIアルゴリズム監査において評価すべき主要な次元（例：公平性、正確性、説明可能性）は何か？
• RQ3 監査官のアクセスレベル（ホワイトボックス、グレーエックス、ブラックボックス）の違いが、AI監査の範囲と信頼性にどのように影響するか？
• RQ4 説明可能性と正確性、プライバシーと公平性といった、競合するAI特性の間にはどのようなトレードオフがあり、監査においてどのように管理すべきか？
• RQ5 AIライフサイクルの異なる段階にわたって監査フレームワークをどのように運用化し、継続的な適合性と信頼性を確保できるか？

主な発見

• 法的・倫理的・セキュリティ的整合性を保証するため、AIアルゴリズムに対する体系的監査フレームワークは不可欠であり、財務監査と同様の役割を果たす。
• 4段階のAI開発ライフサイクル（データ管理、モデル選定、開発、運用）は、監査可能性のための構造的基盤を提供する。
• 監査結果は、入手可能なアクセスレベルに強く依存する。ホワイトボックス監査は最も包括的な評価を可能にするが、ブラックボックス監査は限界はあるが不可欠である。
• 主な監査基準には、保護対象グループ間での平等な扱い（公平性）、一般化性能（正確性）、さまざまな入力条件下での一貫性（耐性）、意思決定の解釈可能性（説明可能性）が含まれる。
• 説明可能性と正確性の間のトレードオフは一般的であり、普遍的に解決するのではなく、文脈に応じて管理する必要がある。
• 運用段階における継続的モニタリングとメトリクス追跡は、信頼性の維持および運用後のドリフトやバイアスの検出に不可欠である。