[논문 리뷰] Evidence-based explanation to promote fairness in AI systems

Juliana Jansen Ferreira, Mateus de Souza Monteiro|arXiv (Cornell University)|2020. 03. 03.

Explainable Artificial Intelligence (XAI)참고 문헌 13인용 수 4

한 줄 요약

이 논문은 추적 가능하고 맥락 인식형 내러티브를 통해 사용자가 AI 보조 결정을 이해하고 정당화할 수 있도록 해, 공정성을 향상시키기 위한 증거 기반 설명 프레임워크를 제안한다. 결정 내러티브에 공정성에 민감한 설계를 통합함으로써, 사법 시스템이나 추천 시스템과 같은 고위험 AI 응용 분야에서 투명성과 책임성을 향상시킨다.

ABSTRACT

As Artificial Intelligence (AI) technology gets more intertwined with every system, people are using AI to make decisions on their everyday activities. In simple contexts, such as Netflix recommendations, or in more complex context like in judicial scenarios, AI is part of people's decisions. People make decisions and usually, they need to explain their decision to others or in some matter. It is particularly critical in contexts where human expertise is central to decision-making. In order to explain their decisions with AI support, people need to understand how AI is part of that decision. When considering the aspect of fairness, the role that AI has on a decision-making process becomes even more sensitive since it affects the fairness and the responsibility of those people making the ultimate decision. We have been exploring an evidence-based explanation design approach to 'tell the story of a decision'. In this position paper, we discuss our approach for AI systems using fairness sensitive cases in the literature.

연구 동기 및 목표

• 사법 시스템과 추천 엔진과 같은 고위험 결정 과정에서 설명 가능하고 공정한 AI에 대한 증가하는 수요를 해결하기 위해.
• 사용자가 추적 가능하고 증거 기반 내러티브를 제공받음으로써 AI 보조 결정을 이해하고 정당화할 수 있도록 지원하는 방법을 조사하기 위해.
• AI 설명에서 공정성의 역할과 그것이 사용자의 신뢰와 결정 결과에 대한 책임감에 미치는 영향을 검토하기 위해.
• 특히 공정성에 민감한 상황에서, 검증 가능한 증거에 기반한 '스토리'로 AI 결정을 프레임화하는 설계 접근법을 개발하기 위해.
• 설명 메커니즘을 윤리적 결정 과정 원칙과 인간의 책임감과 일치시킴으로써, 책임감 있는 AI에 기여하기 위해.

제안 방법

• 일관되고 정당화 가능한 내러티브로 AI 결정을 구조화하기 위해 증거 기반 설명 설계 접근법을 채택한다.
• 공정성 고려사항을 설명 과정에 통합하여, 공정성과 관련된 데이터, 모델 행동 및 결정 논리에 주목한다.
• 맥락 기반 내러티브를 사용하여 AI 출력과 인간의 결정 과정을 연결함으로써 추적 가능성과 감사 가능성을 강조한다.
• 사용자가 이해하고 행동할 수 있도록 보장하기 위해 인간-컴퓨터 상호작용(HCI) 원칙을 적용한다.
• 실제 결정 맥락에 기반한 공정성에 민감한 도메인의 사례 연구를 활용하여 설명 프레임워크를 현실 세계에 뿌리내리게 한다.
• 특히 공정성 트레이드오프가 포함된 경우 결정의 '왜'를 강조하는 설명을 설계한다.

실험 결과

연구 질문

• RQ1 AI 시스템은 결정 과정의 공정성을 뒷받침할 수 있는 설명을 어떻게 제공할 수 있는가?
• RQ2 사용자가 증거 기반 내러티브를 통해 AI 보조 결정을 이해하고 정당화할 수 있도록 하는 설계 원칙은 무엇인가?
• RQ3 설명에 공정성을 통합할 경우 사용자의 신뢰와 AI 시스템에서의 책임감에 어떤 영향을 미치는가?
• RQ4 AI 설명은 공정성에 민감한 맥락에서의 결정 과정 여정을 어떻게 반영할 수 있는가?
• RQ5 데이터 및 모델 행동의 추적 가능성은 책임감 있는 AI 사용을 촉진하는 데 어떤 역할을 하는가?

주요 결과

• 증거 기반 설명 접근법은 사용자가 검증 가능하고 맥락에 특화된 정보를 바탕으로 결정 과정을 재구성할 수 있도록 한다.
• 공정성에 민감한 설명은 AI 출력에서 잠재적 편향과 윤리적 트레이드오프에 대한 사용자 인식을 향상시킨다.
• 내러티브 기반 설명은 AI 결정과 기초 데이터 및 논리 간의 연결을 통해 투명성을 향상시키며, 책임감을 지원한다.
• AI 기여가 추적 가능하고 정당화 가능하므로, 이 프레임워크는 인간이 참여하는 결정 과정을 지원한다.
• 특히 공정성과 책임감이 핵심적인 고위험 분야에서 이 접근법은 특히 효과적이다.
• 설명이 증거와 공정성 고려사항에 기반할 경우, 사용자의 AI 결정에 대한 이해와 신뢰가 증가한다.