[論文レビュー] Closing the AI Accountability Gap: Defining an End-to-End Framework for Internal Algorithmic Auditing

Inioluwa Deborah Raji, Andrew Smart+7 more|arXiv (Cornell University)|Jan 3, 2020

Ethics and Social Impacts of AI参考文献 56被引用数 154

ひとこと要約

本論文はSMACTRを紹介します。SMACTRは、開発を通じて宣言された原則に対してAIシステムを評価する内部監査フレームワークであり、デプロイ前に説明責任のギャップを埋めることを目的としています。

ABSTRACT

Rising concern for the societal implications of artificial intelligence systems has inspired a wave of academic and journalistic literature in which deployed systems are audited for harm by investigators from outside the organizations deploying the algorithms. However, it remains challenging for practitioners to identify the harmful repercussions of their own systems prior to deployment, and, once deployed, emergent issues can become difficult or impossible to trace back to their source. In this paper, we introduce a framework for algorithmic auditing that supports artificial intelligence system development end-to-end, to be applied throughout the internal organization development lifecycle. Each stage of the audit yields a set of documents that together form an overall audit report, drawing on an organization's values or principles to assess the fit of decisions made throughout the process. The proposed auditing framework is intended to contribute to closing the accountability gap in the development and deployment of large-scale artificial intelligence systems by embedding a robust process to ensure audit integrity.

研究の動機と目的

• AI原則と整合性を評価するデプロイ前の仕組みとして内部アルゴリズム監査を提案する。
• ガバナンスと説明責任を強化するため、監査アーティファクトを製品開発ライフサイクルに埋め込む。
• 倫理的リスクを表面化し設計上の緩和策を導く構造化フレームワークを提供する。
• 内部監査が外部の説明責任を補完し透明性を向上させる方法を示す。

提案手法

• SMACTRをスコーピング、マッピング、アーティファクト収集、テスト、反省の五段階プロセスとして導入する。
• 責任あるイノベーションとシステム理論的概念に基づくガバナンス慣行を定義し、社会技術リスクを予見する。
• 各段階で作成される文書アーティファクトと監査人、エンジニア、経営陣の役割を明示する。
• 手続的正義と透明で監査可能な方法論を通じて監査の一貫性を主張する。
• 仮想のCompany Xと二つのクライアント事例を用いて実践的な適用と成果を示す。

実験結果

リサーチクエスチョン

• RQ1 AI開発を組織原則と整合させる内部アルゴリズム監査のエンドツーエンドプロセスは何か？
• RQ2 デプロイ前に倫理的・社会的リスクを軽減するために、内部監査が設計決定とガバナンスにどのように影響を与え得るか？
• RQ3 信頼できる内部AI監査を支えるために必要なアーティファクトとガバナンス構造は何か？
• RQ4 AIガバナンスにおいて内部監査は外部の説明責任機構をどのように補完できるか？

主な発見

• 内部監査フレームワーク（SMACTR）は、スコーピング、マッピング、アーティファクト収集、テスト、反省にわたるデプロイ前評価を構築できる。
• 監査は原則に基づくガバナンス、予見的思考、利害関係者の包含を統合して倫理的リスクを表面化すべきである。
• 文書化されたアーティファクトと透明な手続きは監査の一貫性と正当性（手続的正義）を高める。
• 内部監査は設計プロセスのギャップを明らかにし、AI原則に整合させる組織変更を通知する。
• 例は、リスク検討を示すために高リスク（児童虐待スクリーニング）と低リスク（スマイル検知）文脈に監査が適用される方法を示す。