[논문 리뷰] Closing the AI Accountability Gap: Defining an End-to-End Framework for Internal Algorithmic Auditing

Inioluwa Deborah Raji, Andrew Smart외 7명|arXiv (Cornell University)|2020. 01. 03.

Ethics and Social Impacts of AI참고 문헌 56인용 수 154

한 줄 요약

이 논문은 SMACTR를 도입하여 선언된 원칙에 따라 개발 전 과정에서 AI 시스템을 평가하는 내부 감사 프레임워크를 제시하고 배치 전에 책임 격차를 해소하는 것을 목표로 한다.

ABSTRACT

Rising concern for the societal implications of artificial intelligence systems has inspired a wave of academic and journalistic literature in which deployed systems are audited for harm by investigators from outside the organizations deploying the algorithms. However, it remains challenging for practitioners to identify the harmful repercussions of their own systems prior to deployment, and, once deployed, emergent issues can become difficult or impossible to trace back to their source. In this paper, we introduce a framework for algorithmic auditing that supports artificial intelligence system development end-to-end, to be applied throughout the internal organization development lifecycle. Each stage of the audit yields a set of documents that together form an overall audit report, drawing on an organization's values or principles to assess the fit of decisions made throughout the process. The proposed auditing framework is intended to contribute to closing the accountability gap in the development and deployment of large-scale artificial intelligence systems by embedding a robust process to ensure audit integrity.

연구 동기 및 목표

• 배치 전 기제로서 내부 알고리즘 감사를 제안하여 AI 원칙과의 정렬을 평가한다.
• 제품 개발 라이프사이클에 감사 산출물을 포함시켜 거버넌스와 책임성을 강화한다.
• 윤리적 위험을 표면화하고 설계 완화를 안내하기 위한 구조화된 프레임워크를 제공한다.
• 내부 감사가 외부 책임성을 보완하고 투명성을 향상시킬 수 있는 방법을 입증한다.

제안 방법

• SMACTR를 다섯 단계 프로세스로 소개한다: Scoping, Mapping, Artifact Collection, Testing, and Reflection.
• 책임 있는 혁신과 시스템 이론적 개념을 바탕으로 거버넌스 관행을 정의하여 사회기술적 위험을 예측한다.
• 각 단계에서 생성되는 문서화 산출물과 감사자, 엔지니어, 경영진의 역할을 명시한다.
• 절차적 정의와 투명하고 감사 가능한 방법론을 통해 감사 무결성을 주장한다.
• 실무 적용과 결과를 설명하기 위해 가상의 Company X와 두 가지 클라이언트 시나리오를 사용한다.

실험 결과

연구 질문

• RQ1 AI 개발이 조직 원칙에 정렬되도록 내부 알고리즘 감사의 엔드 투 엔드 과정은 무엇인가?
• RQ2 내부 감사가 설계 결정과 거버넌스에 어떤 영향을 미쳐 배치 전 윤리적 및 사회적 위험을 완화할 수 있는가?
• RQ3 신뢰할 수 있는 내부 AI 감사를 지원하기 위해 필요한 산출물과 거버넌스 구조는 무엇인가?
• RQ4 AI 거버넌스에서 내부 감사가 외부 책임 메커니즘을 어떻게 보완할 수 있는가?

주요 결과

• 내부 감사 프레임워크(SMACTR)는 스코핑, 매핑, 아티팩트 수집, 테스트, 반영으로 사전 배치 평가를 체계화할 수 있다.
• 감사는 원칙 기반 거버넌스, 선제적 사고, 이해관계자 포함을 통합하여 윤리적 위험을 표면화해야 한다.
• 문서화된 산출물과 투명한 절차는 감사 무결성과 정당성을 강화한다(절차적 정의).
• 내부 감사는 설계 프로세스의 격차를 드러내고 AI 원칙에 맞추기 위해 조직 변화를 안내할 수 있다.
• 사례들은 위험 고려를 설명하기 위해 고위험(아동 학대 선별) 상황과 낮은 위험(미소 탐지) 상황에 감사를 적용하는 방법을 보여준다.