[논문 리뷰] The What, the Why, and the How of Artificial Explanations in Automated Decision-Making

Tarek R. Besold, Sara L. Uckelman|arXiv (Cornell University)|2018. 08. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 44인용 수 10

한 줄 요약

이 논문은 자동화된 의사결정에서 설명의 맥락 민감성과 민지적 성격을 다루는 모델을 제안하며, 설명이 사용자에게 의사소통적으로 효과적이며, 충분히 정확하고, 충분히 진실되며, 민지적으로 만족스러워야 한다고 주장한다. 진정으로 설명 가능한 AI 시스템을 위한 핵심 기준으로 통신 효과성, 정확성의 충분성, 진실성의 충분성, 민지적 만족도라는 네 가지 욕구를 도입한다.

ABSTRACT

The increasing incorporation of Artificial Intelligence in the form of automated systems into decision-making procedures highlights not only the importance of decision theory for automated systems but also the need for these decision procedures to be explainable to the people involved in them. Traditional realist accounts of explanation, wherein explanation is a relation that holds (or does not hold) eternally between an explanans and an explanandum, are not adequate to account for the notion of explanation required for artificial decision procedures. We offer an alternative account of explanation as used in the context of automated decision-making that makes explanation an epistemic phenomenon, and one that is dependent on context. This account of explanation better accounts for the way that we talk about, and use, explanations and derived concepts, such as `explanatory power', and also allows us to differentiate between reasons or causes on the one hand, which do not need to have an epistemic aspect, and explanations on the other, which do have such an aspect. Against this theoretical backdrop we then review existing approaches to explanation in Artificial Intelligence and Machine Learning, and suggest desiderata which truly explainable decision systems should fulfill.

연구 동기 및 목표

• 사용자들이 의사결정를 이해하지 못하는 AI 시스템의 설명 부족 문제를 해결하기 위해.
• 사용자의 민지적 이해와 맥락적 성격을 반영하지 못하는 실재론적 설명 이론이 인간-AI 상호작용에서 실패하는 이유를 도전하기 위해.
• 알고리즘적 정확성 이상의 요건을 포함하여 사용자 중심의 의사소통 및 인지적 차원을 반영한, 만족스러운 설명의 기준을 설정하기 위해.
• 의료 및 금융과 같은 고위험 분야에서의 실제 적용을 지원할 수 있는 이론적 기반을 마련하기 위해.
• 이론적 의사결정 이론과 실제 인간-AI 상호작용 사이의 격차를 메우기 위해, 설명을 사용자의 민지적 필요와 맥락에 기반하게 하기 위해.

제안 방법

• 설명을 시간이 지나도 변하지 않는 사실 간의 관계로 보는 것이 아니라, 설명을 듣는 이의 인지적 상태와 맥락에 따라 달라지는 민지적 설명 이론을 개발한다.
• 설명이 단순한 원인이나 이유와 다른 점을 강조하여, 이해와 정보 기반 행동을 가능하게 하는 민지적 기능을 중심으로 설명을 정의한다.
• 네 가지 핵심 욕구를 도입한다: 통신 효과성(이해 가능하고 실행 가능한 설명), 정확성의 충분성(완벽하지 않아도 충분한 정확성), 진실성의 충분성(완벽한 진실이 필요하지 않은 진실성), 민지적 만족도(사용자의 이해 추구를 충족시키는 정도).
• 의료 진단, 대출 심사, 추천 시스템과 같은 실제 AI 환경에 이 프레임워크를 적용하여, 사용자 이해도와 신뢰도가 중요한 분야에 초점을 맞춘다.
• 기존의 AI 설명 방법을 이러한 욕구의 관점에서 분석하여 현재 접근법의 격차를 밝혀낸다.
• 정확성, 진실성, 이해 가능성, 사용자 만족도 사이의 상충 관계는 결함이 아니라 설명 가능한 AI에서 반드시 고려해야 할 설계 선택 사항임을 제안한다.

실험 결과

연구 질문

• RQ1 자동화된 의사결정의 맥락에서 설명과 단순한 원인이나 이유는 무엇으로 구별되는가?
• RQ2 기존의 실재론적 설명 이론은 왜 인간-AI 상호작용에서 인간의 이해의 민지적 성격과 맥락적 특성을 반영하지 못하는가?
• RQ3 사용자의 인지적 한계와 맥락의 다양성을 고려할 때, 이론적으로만 효과적인 설명이 아니라 실질적으로도 효과적인 설명은 어떻게 설계할 수 있는가?
• RQ4 사용자가 신뢰할 수 있고 실행 가능한 것으로 느끼기 위해 설명이 충족해야 할 조건은 무엇인가?
• RQ5 정확성, 진실성, 이해 가능성 사이의 균형을 어떻게 유지하면서도 사용자의 이해도나 의사결정 능력을 해치지 않을 수 있는가?

주요 결과

• AI에서의 설명은 정적이고 객관적인 사실 간의 관계가 아니라, 사용자의 지식, 맥락, 인지적 필요에 따라 달라지는 민지적 현상이다.
• 시스템의 출력는 알고리즘적 정확성만으로는 해결되지 않는 설명의 격차—즉, 결과는 안다지만 이해하지 못하는 상태—는 사용자 중심의 설명 설계가 필요하다.
• 통신 효과성은 필수적이다: 설명은 정확도가 완벽하지 않더라도 이해 가능하고 사용자가 행동을 조정할 수 있도록 해야 한다.
• 완벽한 정확성이나 진실성보다는 충분한 정확성과 충분한 진실성이, 특히 이해 가능성과의 상충이 발생할 경우 더 실용적이고 효과적인 목표이다.
• 민지적 만족도—사용자가 이해를 추구하는 과정이 끝났다고 느끼는 상태—는 완전하지 않더라도 성공적인 설명을 위해서는 반드시 충족되어야 하는 조건이다.
• 현재의 AI 설명 방법들은 이 네 가지 욕구를 종합적으로 충족하지 못하고 있어, 설명 가능한 AI 분야에서 새로운 이론적 및 기술적 프레임워크의 필요성을 보여준다.