[논문 리뷰] Outsider Oversight: Designing a Third Party Audit Ecosystem for AI Governance

Inioluwa Deborah Raji, Peggy Xu외 2명|arXiv (Cornell University)|2022. 06. 09.

Ethics and Social Impacts of AI인용 수 11

한 줄 요약

이 논문은 재정, 환경 및 보건 규제에서 유래한 제도적 설계를 적용하여 제3자 감사 생태계를 제안함으로써 인공지능 거버넌스를 위한 독립적이고 효과적인 감독을 보장한다. 알고리즘 감사만으로는 책임성을 확보할 수 없으며, 제도적 개혁—예를 들어 감사인의 독립성, 접근 권한, 투명성—이 반드시 수반되어야 한다고 주장하며, 외부 감시 기관의 역량을 강화하기 위한 체계적 재설계를 촉구한다.

ABSTRACT

Much attention has focused on algorithmic audits and impact assessments to hold developers and users of algorithmic systems accountable. But existing algorithmic accountability policy approaches have neglected the lessons from non-algorithmic domains: notably, the importance of interventions that allow for the effective participation of third parties. Our paper synthesizes lessons from other fields on how to craft effective systems of external oversight for algorithmic deployments. First, we discuss the challenges of third party oversight in the current AI landscape. Second, we survey audit systems across domains - e.g., financial, environmental, and health regulation - and show that the institutional design of such audits are far from monolithic. Finally, we survey the evidence base around these design components and spell out the implications for algorithmic auditing. We conclude that the turn toward audits alone is unlikely to achieve actual algorithmic accountability, and sustained focus on institutional design will be required for meaningful third party involvement.

연구 동기 및 목표

• 효과적인 제3자 감독을 위해 필요한 제도적 설계가 누락된 AI 정책의 격차를 보완하기 위해.
• 비알고리즘 분야(예: 재정, 환경, 보건)의 감사 제도가 AI 감사 설계에 어떻게 기여할 수 있는지 분석하기 위해.
• 감사인의 독립성, 데이터 접근, 기준, 투명성 등 신뢰할 수 있는 제3자 감사를 가능하게 하는 핵심 제도적 구성 요소를 특정하기 위해.
• 내부 감사만으로는 부족하며, AI 시스템에 대한 외부 감사를 뒷받침할 수 있는 체계적 개혁이 필요하다고 주장하기 위해.
• 기업의 주장 검증과 취약한 집단이 AI로 인한 피해를 입지 않도록 보호할 수 있는 제3자 감사 기관의 성숙한 생태계 조성에 기여하기 위해.

제안 방법

• 재정, 환경 규제, 의료 분야의 감사 제도를 비교 분석하여 설계 원칙을 도출하기 위해.
• 기존 감사 제도에서의 제도적 설계 요소—감사인의 독립성, 접근 권한, 보고 투명성 등—에 대한 증거를 통합하기 위해.
• 효과적인 감사의 핵심 구성 요소인 범위 정의, 표준화, 데이터 접근, 공공 공개 메커니즘 등을 식별하고 평가하기 위해.
• 실제 사례에서 제3자 감사가 정책 변화, 제품 리콜, 법적 조치로 이어진 사례(예: 페이스북 광고 차별성 발견)를 분석하기 위해.
• 단순한 감사 의무화를 넘어서 제도적 설계를 우선시하는 AI 거버넌스 프레임워크를 제안하며, 지속 가능성과 신뢰성 강화에 중점을 두기 위해.
• 기업 사회적 책임 분야에서의 ESG 보고 실패 사례와 유사한 'cheap talk'(허세 어필)와 손상된 감사의 위험을 제기하며 경고하기 위해.

실험 결과

연구 질문

• RQ1 비알고리즘 감사 제도에서 유래한 제도적 설계 특성 중 AI에 대한 신뢰할 수 있는 제3자 감사 구축에 적합하게 적용할 수 있는 요소는 무엇인가?
• RQ2 감사 강조 정책가 존재함에도 불구하고 현재의 AI 책임성 정책가 효과적인 제3자 감독을 보장하지 못하는 이유는 무엇인가?
• RQ3 감사인의 독립성, 데이터 접근, 투명성 등의 요소가 알고리즘 감사의 신뢰성과 영향력에 어떻게 영향을 미치는가?
• RQ4 제3자 감사 기관이 AI 시스템을 효과적으로 감시하지 못하는 체계적 장벽은 무엇이며, 이를 어떻게 해결할 수 있는가?
• RQ5 반복적이고 표준화된 감사가 일반적인 AI 성능 기준과 엔지니어링 관행의 발전에 어떻게 기여할 수 있는가?

주요 결과

• 감사인의 독립성과 데이터 접근 등의 제도적 보호 조치가 부재할 경우, AI 분야의 제3자 감사는 신뢰할 수 없거나 표면적인 평가로 끝나게 된다.
• 기존 정책 프레임워크인 알고리즘 책임성법과 GDPR는 내부 감사에 크게 의존하여, 독립적 감독의 신뢰성과 영향력에 뒤처진다.
• 종종 성공적인 감사 프레임워크로 언급되는 ESG 모델은 표준이 모호하고 'cheap talk'의 위험이 크며 책임성도 낮아 AI에 대해서는 부적합하다.
• 반복 감사—예를 들어 페이스북의 지속적인 차별적 광고 타겟팅을 드러낸 감사—는 지속적인 외부 감시가 효과적인 준수를 위해 필수적임을 보여준다.
• IEEE P7013와 같은 구체적인 표준(예: 얼굴 분석을 위한)은 제3자 감사(예: 가시성의 그림자)의 영향을 직접적으로 받았으며, 감사가 기술적·정책적 개선을 이끌 수 있음을 증명한다.
• 감사의 효과성은 본질적으로 내재된 것이 아니라 제도적 설계에 달려 있다. 감사인의 독립성, 접근, 투명성은 신뢰성을 확보하기 위해 체계적으로 설계되어야 한다.