[논문 리뷰] Towards AI Accountability Infrastructure: Gaps and Opportunities in AI Audit Tooling

Victor Ojewale, Ryan Steed외 3명|arXiv (Cornell University)|2024. 02. 27.

Big Data and Business Intelligence인용 수 14

한 줄 요약

본 논문은 AI 감사 도구를 목록화하고 실무자들을 인터뷰하며, 현재의 도구가 평가에 초점을 맞추고 있어 책임성에 충분하지 않다고 주장하며, AI 책임성을 위한 더 광범위한 인프라를 촉구한다.

ABSTRACT

Audits are critical mechanisms for identifying the risks and limitations of deployed artificial intelligence (AI) systems. However, the effective execution of AI audits remains incredibly difficult, and practitioners often need to make use of various tools to support their efforts. Drawing on interviews with 35 AI audit practitioners and a landscape analysis of 435 tools, we compare the current ecosystem of AI audit tooling to practitioner needs. While many tools are designed to help set standards and evaluate AI systems, they often fall short in supporting accountability. We outline challenges practitioners faced in their efforts to use AI audit tools and highlight areas for future tool development beyond evaluation -- from harms discovery to advocacy. We conclude that the available resources do not currently support the full scope of AI audit practitioners' needs and recommend that the field move beyond tools for just evaluation and towards more comprehensive infrastructure for AI accountability.

연구 동기 및 목표

• 감사 프로세스 단계 전반에 걸친 현재 AI 감사 도구 생태계를 매핑한다.
• 실무에서 실제로 어떤 AI 감사 도구가 사용되고 어떻게 적용되는지 이해한다.
• 가용 도구와 실무자의 책임성 요구 사이의 격차를 식별한다.
• 평가를 넘어서는 인프라를 개발하기 위한 연구자, 정책 입안자, 실무자에 대한 권고를 제공한다.

제안 방법

• 390개의 AI 감사 도구 데이터 세트를 수집했다.
• 감사 프로세스의 일곱 단계로 도구를 구성하는 분류 체계를 개발했다.
• 24개 기관에 걸친 35명의 감사 실무자와 27건의 반구조화 인터뷰를 수행했다.
• 인터뷰 전사에 질적 코딩(서술적 코딩과 가치 코딩)을 적용했다.
• Crunchbase, GitHub, Google Scholar API 등과 같은 소스와 함께 현황 분석을 수행했다.
• tools.auditing-ai.com에서 대화형 데이터 세트를 제공하고 github.com/ryansteed/oat-analysis에서 동반 분석을 제공했다.

Figure 1 . Stages of the tool-supported audit process surfaced in our survey of AI audit tooling. We taxonomize tools by the stage of the AI audit process in which they are meant to be used.

실험 결과

연구 질문

• RQ1 RQ1: AI 감사 작업을 지원하기 위해 어떤 AI 감사 도구가 이용 가능합니까?
• RQ2 RQ2: 어떤 AI 감사 도구가 실제로 사용되며 어떻게 사용됩니까?
• RQ3 RQ3: AI 감사 실무자들이 실제로 어떤 것이 필요합니까?

주요 결과

• 평가 및 표준 관리을 지원하는 도구가 많지만, 해악 발견, 데이터 수집, 투명성 인프라, 옹호, 감사 커뮤니케이션과 같이 책임성과 관련된 핵심 단계에 필요한 도구는 더 적다.
• 실무자들은 종종 워크플로에 맞추어 기존 도구를 조정하거나 자체 도구를 구축하여 가용 도구와 실제 필요 사이의 차이를 드러낸다.
• 고품질의 손상되지 않은 데이터에의 접근성, 일관된 전체론적 표준, 감사의 신뢰성, 그리고 학제 간 협력은 지속적인 과제이다.
• 확인된 대부분의 도구는 공개적으로 사용 가능하거나 오픈 소스이지만, 책임성을 지원하는 인프라 없이는 도구의 실질적 영향이 제한적이다.
• 본 연구는 평가를 넘어서 해악 발견, 이해관계자 포용, 옹호를 지원하는 포괄적 AI 책임성 인프라로의 전환을 촉구한다.

Figure 2 . Number of tools in each category of our taxonomy, grouped by type of organization.