[논문 리뷰] Meaningful XAI Based on User-Centric Design Methodology

Winston Maxwell, Bruno Dumas|arXiv (Cornell University)|2023. 08. 25.

Ethics and Social Impacts of AISocial Sciences인용 수 3

한 줄 요약

이 논문은 EU 규정 하에 고위험 AI 응용 분야에서 데이터 과학자, 운영자, 영향을 받는 개인, 규제 당국자가 효과적으로 활용할 수 있도록, 특정 운영적 맥락, 수신자, 법적 목적에 맞춘 '의미 있는' 설명가능한 인공지능(XAI) 솔루션을 생성하기 위한 사용자 중심의 설계 방법론을 제안한다. XAI를 도전 가능성, 능력 강화, 통제, 평가, 투명성과 연계함으로써, 이 방법론은 고위험 AI 응용 분야에서 효과적인 설명을 보장한다.

ABSTRACT

This report first takes stock of XAI-related requirements appearing in various EU directives, regulations, guidelines, and CJEU case law. This analysis of existing requirements will permit us to have a clearer vision of the purposes, the ``why'', of XAI, which we separate into five categories: contestability, empowerment/redressing information asymmetries, control over system performance, evaluation of algorithmic decisions, and public administration transparency. The analysis of legal requirements also permits us to create four categories of recipients for explainability: data science teams; human operators of the system; persons affected by algorithmic decisions, and regulators/judges/auditors. Lastly, we identify four main operational contexts for explainability: XAI for the upstream design and testing phase; XAI for human-on-the-loop control; XAI for human-in-the-loop control; and XAI for ex-post challenges and investigations.Second, we will present user-centered design methodology, which takes the purposes, the recipients and the operational context into account in order to develop optimal XAI solutions.Third, we will suggest a methodology to permit suppliers and users of high-risk AI applications to propose local XAI solutions that are effective in the sense of being ``meaningful'', for example, useful in light of the operational, safety and fundamental rights contexts. The process used to develop these ``meaningful'' XAI solutions will be based on user-centric design principles examined in the second part.Fourth, we will suggest that the European Commission issue guidelines to provide a harmonised approach to defining ``meaningful'' explanations based on the purposes, audiences and operational contexts of AI systems. These guidelines would apply to the AI Act, but also to the other EU texts requiring explanations for algorithmic systems and results.

연구 동기 및 목표

• 유럽 연합 법률 틀 내에서 설명가능한 인공지능(XAI)의 법적 및 규제적 동기를 특정하고 분류한다. 이는 지침, 규정, 사법 판례를 포함한다.
• XAI의 다섯 가지 핵심 목적을 정의한다: 도전 가능성, 정보 비대칭 해소, 시스템 성능에 대한 통제, 결정 평가, 공공 행정의 투명성.
• 설명의 네 가지 구체적 수신자 그룹을 분류한다: 데이터 과학 팀, 인간 운영자, 영향을 받는 개인, 규제 당국자/감사 기관.
• XAI의 네 가지 운영적 맥락을 매핑한다: 상游 설계/테스트, 인간이 개입하는 제어, 인간이 포함된 제어, 사후 도전.
• 법적 의무와 실용적 사용성 원칙에 부합하는 효과적이고 맥락 특화된 '의미 있는' XAI 솔루션을 개발하기 위한 방법론을 개발한다.

제안 방법

• EU 법적 텍스트와 EU 법원 사법관보(CJEU) 판례를 분석하여 목적과 수신자별 XAI 요구사항을 추출하고 분류한다.
• XAI를 네 가지 운영적 맥락으로 매핑한다: 설계/테스트, 실시간 인간이 개입하는 제어, 인간이 개입하는 제어, 결정 이후 도전.
• 사용자 중심 설계 원칙을 적용하여 특정 수신자의 필요, 인지 모델, 역할에 맞게 설명을 맞춤형으로 조정한다.
• AI 공급자와 사용자가 공동으로 개발할 수 있도록, 맥락 인식 가능한 XAI 솔루션을 위한 체계적 방법론을 제안한다. 이는 법적 및 실용적 효과성 기준을 충족한다.
• 유럽 집행위원회가 AI법 및 기타 EU 규제 텍스트 내에서 '의미 있는' 설명의 정의를 통일하기 위해 통합 지침을 발표할 것을 권고한다.

실험 결과

연구 질문

• RQ1 유럽 연합 AI 거버넌스 프레임워크에서 XAI가 필요한 주요 법적 및 규제적 목적은 무엇인가?
• RQ2 예를 들어 영향을 받는 개인, 규제 당국자, 운영자 등 다양한 수신자 그룹은 효과적인 설명을 위해 어떻게 다른 형태의 설명이 필요한가?
• RQ3 XAI는 어떤 운영적 맥락에서 다른 기능을 수행하는가? 즉, 상우 설계, 실시간 제어, 또는 사후 검토에서의 기능은 어떻게 다를 수 있는가?
• RQ4 다양한 사용자에게 실질적으로 유용한 '의미 있는' XAI 솔루션을 확보하기 위해 어떤 설계 원칙이 필요한가?
• RQ5 EU AI 규제 전반에 걸쳐 통합적이고 맥락 민감한 '의미 있는' 설명의 정의를 어떻게 설정할 수 있는가?

주요 결과

• XAI는 다섯 가지 핵심 목적을 수행한다: 도전 가능성, 정보 비대칭 해소, 시스템 성능에 대한 통제, 알고리즘 결정 평가, 공공 행정의 투명성.
• 네 가지 구체적 수신자 그룹이 맞춤형 설명이 필요하다: 데이터 과학 팀, 인간 운영자, 영향을 받는 개인, 규제 당국자/감사 기관.
• XAI의 네 가지 운영적 맥락이 확인되었다: 상우 설계/테스트, 인간이 개입하는 제어, 인간이 포함된 제어, 사후 도전.
• 제안된 사용자 중심 설계 방법론은 법적 의무와 실용적 사용성 원칙에 부합하는 맥락 특화된 효과적인 XAI 솔루션 개발을 가능하게 한다.
• 논문은 유럽 집행위원회가 EU AI 법률 및 기타 규제 텍스트 전반에 걸쳐 '의미 있는' 설명의 정의를 통일하기 위해 통합 지침을 발표할 것을 권고한다.
• 이 방법론은 XAI가 법적으로 준수되는 것뿐만 아니라, 안전이 중요한 상황과 권리 보호 상황에서 실질적으로 유용한 것으로 보장한다.