[논문 리뷰] Explainable AI is Dead, Long Live Explainable AI! Hypothesis-driven decision support

Tim Miller|arXiv (Cornell University)|2023. 02. 24.

Explainable Artificial Intelligence (XAI)인용 수 10

한 줄 요약

논문은 평가적 AI(evaluative AI)를 옹호하며, 추천 주도형 explainable AI에서 인간 중심의 증거 기반 접근 방식으로의 전환과 귀납적 추론(abductive reasoning)을 지원하고 사용자 통제력을 유지하는 가설 주도형 의사결정 지원 프레임워크를 제시한다.

ABSTRACT

In this paper, we argue for a paradigm shift from the current model of explainable artificial intelligence (XAI), which may be counter-productive to better human decision making. In early decision support systems, we assumed that we could give people recommendations and that they would consider them, and then follow them when required. However, research found that people often ignore recommendations because they do not trust them; or perhaps even worse, people follow them blindly, even when the recommendations are wrong. Explainable artificial intelligence mitigates this by helping people to understand how and why models give certain recommendations. However, recent research shows that people do not always engage with explainability tools enough to help improve decision making. The assumption that people will engage with recommendations and explanations has proven to be unfounded. We argue this is because we have failed to account for two things. First, recommendations (and their explanations) take control from human decision makers, limiting their agency. Second, giving recommendations and explanations does not align with the cognitive processes employed by people making decisions. This position paper proposes a new conceptual framework called Evaluative AI for explainable decision support. This is a machine-in-the-loop paradigm in which decision support tools provide evidence for and against decisions made by people, rather than provide recommendations to accept or reject. We argue that this mitigates issues of over- and under-reliance on decision support tools, and better leverages human expertise in decision making.

연구 동기 및 목표

• 추천 주도 XAI에서 가설 주도적 evaluative AI로의 의사결정 지원 패러다임 전환을 동기부여한다.
• 현행 설명가능성 도구가Robust human decision making을 가능하게 하는 데 한계를 보임을 강조한다.
• 인간의 행위 주체성을 보존하고 신뢰 보정(trust calibration)을 향상시키는 인지적 정렬 프레임워크를 제안한다.
• evaluative AI의 연구 과제와 고위험 의사결정에의 적용 가능성을 위한 연구 로드맵을 제시한다.

제안 방법

• 의사결정 기준에 비추어 기존 XAI 패러다임(추천 기반, 대조 설명, 본질적으로 해석 가능한 모델, 인지적 강제)을 비판적으로 검토한다.
• evaluative AI 프레임워크를 abductive reasoning과 sensemaking의 Data/Frame 이론에 기초시킨다.
• evaluative AI의 두 가지 설계 기준을 정의한다: 인지적 의사결정 프로세스를 지원하고 옵션 탐색에 대한 통제력을 향상시킨다.
• 가설에 대한 찬반 증거를 생성/정리하고 trade-offs를 지원하는 evaluative AI의 두 부분으로 구성된 개념적 프레임워크를 제시한다.
• 가설이 어떻게 걸러지고 증거가 제시되는지, 피부암 병변 진단에 대한 스키마식 진단 인터페이스 예시를 제공한다.

실험 결과

연구 질문

• RQ1 현행 추천 기반 XAI가 실제 의사결정에서 가진 한계는 무엇인가?
• RQ2 의사결정 지원 도구가 인간의 abductive reasoning과 sensemaking 과정에 어떻게 정렬될 수 있는가?
• RQ3 가설 주도적 evaluative AI는 어떤 모습이며 옵션, 판단, 트레이드오프를 어떻게 지원하는가?
• RQ4 어떤 맥락에서 evaluative AI가 의사결정에 가장 효과적인가?

주요 결과

• 추천 주도형 XAI는 종종 과소-또는 과신 및 설명에 대한 제한된 참여를 유도한다.
• 귀납적 추론과 sensemaking은 사람들이 AI 출력과 가설을 평가하는 데 있어 중심적이다.
• Evaluative AI는 DST의 역할을 추천 제공에서 가설에 대한 찬반 증거 제시 및 트레이드오프 지원으로 전환하여 사용자의 통제력을 향상시킨다.
• Evaluative AI 프레임워크는 인지적 의사결정 프로세스와 더 잘 정렬되며 고정관념 및 자동화 편향을 완화할 수 있다.
• 진단 예시는 Evaluative AI가 여러 개의 그럴듯한 가설에 대한 증거를 제시하는 방식을 보여준다.