[논문 리뷰] Conceptualising Contestability: Perspectives on Contesting Algorithmic Decisions

Henrietta Lyons, Eduardo Velloso외 1명|arXiv (Cornell University)|2021. 02. 23.

Ethics and Social Impacts of AI참고 문헌 118인용 수 73

한 줄 요약

이 논문은 호주가 처음으로 알고리즘 결정에 대해 핵심 원칙으로 삼은 '재심의 가능성'을 정의한 AI 윤리 프레임워크에 대응하여 다양한 이해관계자들이 이 개념을 어떻게 이해하고 있는지 조사한다. 65건의 제안을 주제 분석한 결과, 개인을 보호하고 인간의 결정 재심의 과정을 반영하는 것이 재심의 가능성의 핵심이라는 데 널리 공감대가 형성된 것으로 드러났으며, 동시에 AI 시스템 내에서 공정하고 접근 가능하며 설명 가능한 재심의 메커니즘을 구현하는 데 있어 핵심적인 설계 및 정책 과제가 존재한다는 점이 확인되었다.

ABSTRACT

As the use of algorithmic systems in high-stakes decision-making increases, the ability to contest algorithmic decisions is being recognised as an important safeguard for individuals. Yet, there is little guidance on what `contestability'--the ability to contest decisions--in relation to algorithmic decision-making requires. Recent research presents different conceptualisations of contestability in algorithmic decision-making. We contribute to this growing body of work by describing and analysing the perspectives of people and organisations who made submissions in response to Australia's proposed `AI Ethics Framework', the first framework of its kind to include `contestability' as a core ethical principle. Our findings reveal that while the nature of contestability is disputed, it is seen as a way to protect individuals, and it resembles contestability in relation to human decision-making. We reflect on and discuss the implications of these findings.

연구 동기 및 목표

• . 알고리즘 결정에서 '재심의 가능성'이란 의미를 명확히 하기 위한 지침의 부재를 다룬다.
• . 정부, 산업계, 학계, 시민사회 등 다양한 이해관계자들이 호주 AI 윤리 프레임워크에 대응하여 재심의 가능성 개념을 어떻게 이해하고 있는지 조사한다.
• . 알고리즘 시스템 내 재심의에 관한 개념적 논의와 실질적 과제를 맵핑하고자 한다.
• . 알고리즘 결정에 대한 공정하고 접근 가능하며 투명한 재심의 과정 설계에 기여하고자 한다.
• . 재심의 가능성의 핵심 원칙과 설계 고려사항을 규명하여 윤리적인 AI 개발에 기여하는 것이 목적이다.

제안 방법

• . 연구는 호주 AI 윤리 프레임워크 공청 절차에 제출된 65건의 제안을 분석하였다.
• . 재심의 가능성에 대한 반복적인 관점, 개념화 방식, 설계 요구사항을 식별하기 위해 주제 분석을 실시하였다.
• . 응답자들이 재심의 가능성은 어떻게 정의했는지, 공정성 및 투명성과의 관계는 어떻게 보는지, 그리고 이를 어떻게 운영할 수 있는지에 초점을 맞췄다.
• . 재심의 가능성을 가능하게 하는 설명의 역할, 특히 인간 중심의 설명 방식이 어떤지를 분석하였다.
• . HCI 및 정책 설계의 통찰을 바탕으로 재심의 과정이 어떻게 접근 가능하고 효과적으로 설계될 수 있는지 평가하였다.
• . 연구 결과는 AI 시스템 내 재심의 가능성의 타당성과 영향력을 반영하는 데에 활용되었다.

실험 결과

연구 질문

• RQ1 . 다양한 이해관계자들이 알고리즘 결정의 맥락에서 재심의 가능성은 어떻게 개념화하고 있는가?
• RQ2 . AI 시스템 내 재심의 과정을 구현하기 위한 주요 설계 및 정책 고려사항은 무엇인가?
• RQ3 . 알고리즘 결정의 재심의 가능성은 인간의 결정 재심의 가능성과 어떻게 비교되는가?
• RQ4 . 설명 가능성은 재심의의 근거를 확대하거나 제한하는 데 어떤 역할을 하는가?
• RQ5 . 개인이 알고리즘 결정을 효과적으로 재심할 수 없게 만드는 체계적 과제는 무엇인가?

주요 결과

• . 재심의 가능성은 부당하거나 해로운 알고리즘 결정으로부터 개인을 보호하기 위해 필수적이라는 데 널리 공감대가 형성되어 있다.
• . 응답자들은 알고리즘 결정의 재심의 가능성을 인간의 결정 재심의 과정과 유사하게 보며, 유사한 절차적 공정성을 강조하였다.
• . 제안서는 재심의 과정이 접근 가능하고 투명하며 영향을 받는 개인의 참여를 반영하여 설계되어야 한다고 강조하였다.
• . 주요 과제로는 알고리즘 시스템의 투명성 부족이 지목되었으며, 이는 사용자가 결정을 이해하거나 도전할 수 있는 능력을 저해한다.
• . 의미 있는 재심의를 지원하기 위해 기술적 또는 반대가치 설명을 넘어서 인간 중심의 설명이 절실하게 필요하다.
• . 본 연구는 현재의 설명 가능한 AI(XAI) 출력물이 법적 또는 공식적인 재심의에 부적합할 수 있음을 시사하며, 더 강력하고 맥락 인식형 설명 프레임워크의 필요성을 제기한다.