[논문 리뷰] The human-AI relationship in decision-making: AI explanation to support people on justifying their decisions

Juliana Jansen Ferreira, Mateus de Souza Monteiro|arXiv (Cornell University)|2021. 02. 10.

Explainable Artificial Intelligence (XAI)인용 수 13

한 줄 요약

이 논문은 인간-AI 의사결정 협업에서 신뢰를 구축하고 효과적인 정당화를 가능하게 하기 위해 설명 가능한 인공지능(XAI)이 필수적이라고 주장한다. 의사결정 워크플로우에 AI 설명을 통합함으로써 개인들은 AI 영향을 받는 결정을 더 잘 이해하고 정당화할 수 있으며, 특히 책임 소재가 중요한 고위험 분야에서 이는 더욱 중요하다. 주요 기여는 XAI를 기술적 투명성 이상의 수준으로 보는 것으로, 결정을 타인에게 정당화하는 데 인간 决정자들을 지원하는 관계적 도구로 정의하는 데 있다.

ABSTRACT

The explanation dimension of Artificial Intelligence (AI) based system has been a hot topic for the past years. Different communities have raised concerns about the increasing presence of AI in people's everyday tasks and how it can affect people's lives. There is a lot of research addressing the interpretability and transparency concepts of explainable AI (XAI), which are usually related to algorithms and Machine Learning (ML) models. But in decision-making scenarios, people need more awareness of how AI works and its outcomes to build a relationship with that system. Decision-makers usually need to justify their decision to others in different domains. If that decision is somehow based on or influenced by an AI-system outcome, the explanation about how the AI reached that result is key to building trust between AI and humans in decision-making scenarios. In this position paper, we discuss the role of XAI in decision-making scenarios, our vision of Decision-Making with AI-system in the loop, and explore one case from the literature about how XAI can impact people justifying their decisions, considering the importance of building the human-AI relationship for those scenarios.

연구 동기 및 목표

• 전문적 또는 기관적 환경에서 자신의 선택을 정당화해야 하는 인간 결정자들이 XAI의 역할을 검토하는 것.
• 모델의 해석 가능성이나 투명성에만 초점을 맞춘 XAI 연구의 틈을 메우기 위해 정당화 기능에 초점을 맞춘 것.
• AI 설명이 책임감과 결정 정당화를 지원하도록 설계된 인간-AI 관계 모델을 제안하는 것.
• 문헌 사례 연구를 통해 설명의 질이 결정자가 AI 영향을 받는 결과를 방어하는 데 미치는 영향을 입증하는 것.
• 기술적 설명 가능성 이상의 수준에서 인간-결정 과정의 사회인지적 요구를 충족시키는 XAI 시스템을 지지하는 것.

제안 방법

• 저자들은 인간-컴퓨터 상호작용(HCI)과 설명 가능한 인공지능(XAI) 분야의 다학제적 통찰을 바탕으로 위치 논문 접근법을 채택한다.
• 기존의 XAI 프레임워크를 분석하고, 모델의 투명성에서 벗어나 의사결정 맥락에서 정당화를 가능하게 하는 목적으로 재정의한다.
• 문헌에서 얻은 사례 연구를 통해 AI 설명이 결정자가 이해관계자에게 결과를 정당화하는 데 미치는 영향을 설명한다.
• 설명의 영향이 신뢰, 책임감, 인간-AI 협업에 미치는 영향을 분석하는 데 초점을 맞춘 정성적 분석을 강조한다.
• 인간과 AI가 의사결정 루프에서 상호의존적인 관계를 맺고 있음을 강조하는 사회기술 시스템 이론에 기반한 프레임워크를 구축한다.
• 설명을 관계적이고 정당화 기반 도구로 위치시키기 위해 의사결정 이론과 윤리적 AI의 통찰을 통합한다.

실험 결과

연구 질문

• RQ1 AI 설명은 AI의 영향을 받는 결정을 내리는 인간 결정자들이 외부 이해관계자에게 그 결정을 정당화하는 데 어떻게 지원할 수 있는가?
• RQ2 설명의 질은 결정자가 자신의 선택을 방어하는 능력에 어떻게 영향을 미치며, 이를 촉진하거나 저해하는가?
• RQ3 XAI는 어떻게 기술적 설명 가능성 외에도 의사결정 과정에서의 책임감과 신뢰를 지원할 수 있는가?
• RQ4 인간-AI 관계는 정당화 시나리오에서 설명의 효과성에 어떻게 영향을 미치는가?
• RQ5 전문적 의사결정 맥락에서 AI 설명이 충족해야 할 사회인지적 요구는 무엇인가?

주요 결과

• AI 설명은 외부 이해관계자에게 AI 영향을 받는 결정을 정당화하는 데 결정자의 능력을 크게 향상시킨다.
• 설명의 질은 AI의 출력이 정확하더라도 신뢰도와 결정의 합법성에 직접적인 영향을 미친다.
• 연구는 설명이 결정자의 추론 과정과 소통 요구에 부합할 때 가장 효과적임을 입증한다.
• 단지 AI 모델을 해석 가능하게 하는 것만으로는 부족하며, 설명은 정당화 맥락과 대상에 맞게 맞춤화되어야 한다.
• 기술적 투명성 이상으로 책임감을 지원할 때 인간-AI 관계는 더욱 강화된다.
• 사례 연구는 적절한 설명이 없을 경우 결정자가 설명할 수 없어 AI 출력을 기각하거나 잘못 해석할 수 있음을 보여준다.