[논문 리뷰] AuditMAI: Towards An Infrastructure for Continuous AI Auditing

Laura Waltersdorfer, Fajar J. Ekaputra외 2명|arXiv (Cornell University)|2024. 06. 20.

Big Data and Business Intelligence인용 수 5

한 줄 요약

AuditMAI는 연속형 AI 감사 인프라의 청사진을 제시하며, AI 감사 가능성의 정의를 규정하고 AI 생애주기에 걸친 자동화된 엔드투엔드 감사를 지원하는 세 가지 보기(Knowledge, Process, Architecture)와 프로토타입(AuditBox)을 제시한다.

ABSTRACT

Artificial Intelligence (AI) Auditability is a core requirement for achieving responsible AI system design. However, it is not yet a prominent design feature in current applications. Existing AI auditing tools typically lack integration features and remain as isolated approaches. This results in manual, high-effort, and mostly one-off AI audits, necessitating alternative methods. Inspired by other domains such as finance, continuous AI auditing is a promising direction to conduct regular assessments of AI systems. The issue remains, however, since the methods for continuous AI auditing are not mature yet at the moment. To address this gap, we propose the Auditability Method for AI (AuditMAI), which is intended as a blueprint for an infrastructure towards continuous AI auditing. For this purpose, we first clarified the definition of AI auditability based on literature. Secondly, we derived requirements from two industrial use cases for continuous AI auditing tool support. Finally, we developed AuditMAI and discussed its elements as a blueprint for a continuous AI auditability infrastructure.

연구 동기 및 목표

• 문헌과 실제에 근거한 AI 감사 가능성의 작업 정의를 명확히 한다.
• 산업 현장의 활용 사례로부터 연속 AI 감사에 대한 도구 지원의 구체적 요구사항을 도출한다.
• AuditMAI를 Knowledge, Process, Architecture를 포함하는 세 가지 보기 프레임워크로 제안하여 지식, 프로세스 및 아키텍처 전반에 걸친 연속 AI 감사를 가능하게 한다.

제안 방법

• We define AI auditability as the ability of an auditor to obtain accurate and relevant auditable artefacts to answer concrete audit questions when examining an AI system.
• Derive requirements for continuous AI auditing from two industrial use cases and workshops with project partners.
• Propose AuditMAI with three views (Knowledge, Process, Architecture) and discuss its elements as a blueprint for an AI auditability infrastructure.
• Implement a partially realized prototype (AuditBox) leveraging semantic web technologies to integrate and manage auditable artefacts.
• Describe four process steps (Audit Scoping, Audit Setup, Audit Artefact Collection, Audit Analysis and Reporting) to operationalize continuous auditing.
• Outline four architecture services (Audit Scoping, Audit Setup, Artefact Management, Analytics & Reporting) to realize the framework.

Figure 1: Auditability Definition Key Elements (E1-E4) and Challenges (C1-C2b)

실험 결과

연구 질문

• RQ1 What are the key elements of an infrastructure to enable continuous AI auditability?
• RQ2 How can industrial use cases inform concrete requirements for tool support in continuous AI auditing?
• RQ3 How can a three-view framework (Knowledge, Process, Architecture) facilitate end-to-end AI auditability?
• RQ4 What role can semantic technologies play in integrating and managing auditable artefacts?
• RQ5 What are the essential steps to operationalize continuous AI auditing in practice?

주요 결과

• AI 감사 가능성은 감사 질문과 감사관에 정렬된 식별 가능한 감사 가능 산출물(정적 및 동적)이 필요한 것을 의미한다.
• 두 개의 산업 활용 사례는 네 가지 실용적 요구사항(R1–R4)을 도출하며, 산출물 식별, 유연한 수집, 완전 자동화, 분석 가능성에 걸친 요구를 제시한다.
• AuditMAI는 지식 관리, 프로세스 안내, 아키텍처 서비스를 통합하는 세 가지 보기 아키텍처를 제공하여 연속 AI 감사를 지원한다.
• AuditBox 프로토타입은 AI 생애주기에 걸친 감사 가능한 artefacts의 시맨틱 웹 기반 통합 및 관리를 시연한다.
• 프레임워크는 반복 가능하고 예방적인 감사를 가능하게 하는 네 가지 프로세스 단계(스코핑, 설정, 수집, 분석/보고)를 제공한다.
• 고수준의 감사 개념과 완전 자동화 도구 세트 간의 격차가 남아 있으며, 향후 작업으로 AuditBox를 AuditMAI의 모든 단계로 확장하고 프레임워크를 평가하는 것이 있다.

Figure 2: A schematic overview of the UCs and derived requirements (R1-R4)