[논문 리뷰] System Cards for AI-Based Decision-Making for Public Policy

Furkan Gürsoy, Ioannis A. Kakadiaris|arXiv (Cornell University)|2022. 03. 01.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

이 논문은 공공 정책 분야에서 사용되는 인공지능 기반 자동결정시스템(AIS)의 투명성과 책임성 향상을 위해 시스템 책임성 기준과 시스템 카드를 제안한다. 이 프레임워크는 데이터, 모델, 코드, 시스템 차원을 행으로, 개발, 평가, 완화, 확보를 열로 하여 구성된 4×4 행렬에 56개의 기준을 포함하며, 체계적인 감사와 공공 정책 응용을 위한 표준화된 시스템 카드를 생성할 수 있도록 한다.

ABSTRACT

Decisions impacting human lives are increasingly being made or assisted by automated decision-making algorithms. Many of these algorithms process personal data for predicting recidivism, credit risk analysis, identifying individuals using face recognition, and more. While potentially improving efficiency and effectiveness, such algorithms are not inherently free from bias, opaqueness, lack of explainability, maleficence, and the like. Given that the outcomes of these algorithms have a significant impact on individuals and society and are open to analysis and contestation after deployment, such issues must be accounted for before deployment. Formal audits are a way of ensuring algorithms meet the appropriate accountability standards. This work, based on an extensive analysis of the literature and an expert focus group study, proposes a unifying framework for a system accountability benchmark for formal audits of artificial intelligence-based decision-aiding systems. This work also proposes system cards to serve as scorecards presenting the outcomes of such audits. It consists of 56 criteria organized within a four-by-four matrix composed of rows focused on (i) data, (ii) model, (iii) code, (iv) system, and columns focused on (a) development, (b) assessment, (c) mitigation, and (d) assurance. The proposed system accountability benchmark reflects the state-of-the-art developments for accountable systems, serves as a checklist for algorithm audits, and paves the way for sequential work in future research.

연구 동기 및 목표

• 고위험 공공 정책 분야에서 활용되는 인공지능 기반 자동결정시스템(AIS)의 편향, 투명성 부족, 설명 불가능성에 대한 우려를 해결하기 위해.
• 배포 이전에 AI 시스템의 책임성 평가를 위한 표준화되고 감사 가능한 프레임워크를 개발하기 위해.
• 스테이크홀더가 접근 가능하고 체계적인 보고서로 활용할 수 있는 실용적 도구인 시스템 카드를 만들기 위해.
• 설계에서 배포에 이르기까지 AI 시스템의 전 생애주기를 아우르며 책임성 원칙을 통합하기 위해.
• 연구자와 실무자들이 실천 가능한 기준을 제공함으로써 알고리즘 책임성 분야를 발전시키기 위해.

제안 방법

• 행과 열이 각각 데이터, 모델, 코드, 시스템 및 개발, 평가, 완화, 확보인 4×4 행렬에 조직된 56개 기준의 시스템 책임성 기준을 제안한다.
• 감사 결과를 표준화된 방식으로 요약하는 출력 자료로 시스템 카드를 설계한다.
• 최신 책임성 실천 방식과 일치하기 위해 문헌 검토 및 전문가 포커스 그룹의 통찰을 통합한다.
• 정성적 평가와 정량적 평가를 모두 지원하도록 기준을 구성하며, AI 보험 또는 팀 다양성과 같은 신규 개념의 측정에 한계가 있음을 인정한다.
• 감사 결과는 단순한 합격/불합격 또는 단일 점수 평가를 피하기 위해 사회적 및 법적 맥락에서 해석되어야 한다고 강조한다.
• 향후 지침 개발 및 자동 감사 도구 개발을 지원하기 위해 반복적 개선이 가능한 살아있는 도구로 이 프레임워크를 위치시킨다.

실험 결과

연구 질문

• RQ1 공공 정책 분야의 AI 기반 자동결정시스템을 감사하기 위해 종합적이고 표준화된 프레임워크를 어떻게 설계할 수 있는가?
• RQ2 데이터, 모델, 코드, 시스템 계층 전반에서 책임성, 공정성, 투명성을 확보하기 위해 필수적인 기준은 무엇인가?
• RQ3 감사 결과를 시스템 카드와 같은 표준화되고 이해하기 쉬운 형식으로 스테이크홀더에게 효과적으로 전달하는 방법은 무엇인가?
• RQ4 다양한 공정성 개념이나 정성적 평가가 포함된 경우, 책임성 기준을 측정하는 데 실질적인 과제는 무엇인가?
• RQ5 비지도 학습 또는 규칙 기반 논리 기반의 AI 시스템을 포함한 다양한 유형의 AI 시스템에 이 프레임워크를 어떻게 적응시킬 수 있는가?

주요 결과

• 시스템 책임성 기준은 데이터, 모델, 코드, 시스템 차원을 평가하기 위한 56개의 기준으로 구성된 4×4 행렬로 구성되어 있으며, AI 시스템의 체계적 평가를 가능하게 한다.
• 시스템 카드는 기준을 사용하여 감사 결과를 요약하는 표준화된 감사 가능한 출력 자료로 제안되며, 투명성 향상과 이해도 제고에 기여한다.
• 이 프레임워크는 일률적인 솔루션이 아니라 AI 시스템 생애주기 전반에 걸쳐 책임성을 이끌어내는 살아있는, 진화하는 도구로 의도되어 있다.
• 기준의 대부분이 객관적으로 측정되지 않으며, 일부는 정성적 평가가 필요하다는 점을 기준이 인정하며, 특히 문서화 및 AI 보험과 같은 새로운 개념의 평가에 특히 그렇다.
• 공정성 평가는 맥락에 따라 달라지며, 상충되는 공정성 개념과 가치 기반 선택이 존재하기 때문에 객관적인 방법이 존재하지 않는다.
• 심화된, 투명성 부족한 시스템—특히 딥러닝이나 역사적 데이터를 사용하는 시스템—은 감사 가능성에 큰 도전을 안겨주며, 명시적인 인구 통계적 특성이 없더라도 체계적 편향을 재생산할 수 있다.