[論文レビュー] AuditMAI: Towards An Infrastructure for Continuous AI Auditing

Laura Waltersdorfer, Fajar J. Ekaputra+2 more|arXiv (Cornell University)|Jun 20, 2024

Big Data and Business Intelligence被引用数 5

ひとこと要約

AuditMAIは継続的なAI監査インフラストラクチャの設計図を提示し、AI監査性を定義し、知識・プロセス・アーキテクチャの3ビューフレームワークと自動化されたエンドツーエンド監査をAIライフサイクル全体でサポートする prototype (AuditBox) を詳述します。

ABSTRACT

Artificial Intelligence (AI) Auditability is a core requirement for achieving responsible AI system design. However, it is not yet a prominent design feature in current applications. Existing AI auditing tools typically lack integration features and remain as isolated approaches. This results in manual, high-effort, and mostly one-off AI audits, necessitating alternative methods. Inspired by other domains such as finance, continuous AI auditing is a promising direction to conduct regular assessments of AI systems. The issue remains, however, since the methods for continuous AI auditing are not mature yet at the moment. To address this gap, we propose the Auditability Method for AI (AuditMAI), which is intended as a blueprint for an infrastructure towards continuous AI auditing. For this purpose, we first clarified the definition of AI auditability based on literature. Secondly, we derived requirements from two industrial use cases for continuous AI auditing tool support. Finally, we developed AuditMAI and discussed its elements as a blueprint for a continuous AI auditability infrastructure.

研究の動機と目的

• 文献と実務に基づくAI監査性の実務的定義を明確にする。
• 産業ユースケースから継続的AI監査のツール支援に関する具体的要件を導出する。
• Knowledge, Process, Architectureの三ビューを持つAuditMAIを提案し、知識、プロセス、アーキテクチャを横断した継続的AI監査を可能にする。

提案手法

• AI監査性を、監査人がAIシステムを検証する際に具体的な監査質問に答えるために正確で関連性のある監査可能 アーティファクト を取得できる能力として定義する。
• 二つの産業用ケースとプロジェクトパートナーとのワークショップから継続的AI監査の要件を導出する。
• Knowledge, Process, Architecture の三つのビューを持つAuditMAIを提案し、それの要素をAI監査性インフラストラクチャの設計図として論じる。
• 意味論ウェブ技術を活用して監査可能アーティファクトを統合・管理する部分的に実現されたプロトタイプ(AuditBox)を実装する。
• 継続監査を運用化する四つのプロセス手順を説明する(Audit Scoping, Audit Setup, Audit Artefact Collection, Audit Analysis and Reporting)。
• フレームワークを実現するための四つのアーキテクチャサービス(Audit Scoping, Audit Setup, Artefact Management, Analytics & Reporting)を概説する。

Figure 1: Auditability Definition Key Elements (E1-E4) and Challenges (C1-C2b)

実験結果

リサーチクエスチョン

• RQ1 継続的なAI監査性を実現するためのインフラストラクチャの主要要素とは何か？
• RQ2 産業用ユースケースは継続的AI監査のツール支援に関する具体的要件をどう導くか？
• RQ3 三つのビュー・フレームワーク(Knowledge, Process, Architecture) はエンドツーエンドのAI監査性をどう促進するか？
• RQ4 意味論技術は、監査可能な artefacts の統合と管理にどのような役割を果たせるか？
• RQ5 実務で継続的AI監査を運用化するための不可欠な手順は何か？

主な発見

• AI監査性には、監査質問と監査人に合わせて静的・動的の監査可能 artefacts を特定可能であることが必要である。
• 二つの産業用ケースは実践的な要件を四つ導出する (R1–R4)、アーティファクトの識別、柔軟な収集、完全自動化、分析的アクセス性を含む。
• AuditMAIは知識管理、プロセスガイダンス、アーキテクチャサービスを統合する三ビューのアーキテクチャを提供し、継続的AI監査を支援する。
• AuditBoxプロトタイプは意味論ウェブに基づく統合と監査可能アーティファクトのライフサイクル全体の管理を実証する。
• フレームワークは、繰り返し可能で予防的な監査を可能にする段階的な監査プロセス(スコーピング、セットアップ、収集、分析/報告)を提供する。
• 高レベルの監査概念と完全自動化ツールスイートの間にはギャップが残る；今後の課題としてAuditBoxをAuditMAIの全手順に拡張し、フレームワークを評価することが含まれる。

Figure 2: A schematic overview of the UCs and derived requirements (R1-R4)