[논문 리뷰] Rethinking Explainability as a Dialogue: A Practitioner's Perspective

Himabindu Lakkaraju, Dylan Slack외 3명|arXiv (Cornell University)|2022. 02. 03.

Explainable Artificial Intelligence (XAI)인용 수 28

한 줄 요약

본 논문은 인터랙티브한 자연어 설명 가능 대화의 필요성을 주장하고, 원칙들, 설계 로드맵, 그리고 향후 연구를 안내하기 위한 실무자 연구를 제시한다.

ABSTRACT

As practitioners increasingly deploy machine learning models in critical domains such as health care, finance, and policy, it becomes vital to ensure that domain experts function effectively alongside these models. Explainability is one way to bridge the gap between human decision-makers and machine learning models. However, most of the existing work on explainability focuses on one-off, static explanations like feature importances or rule lists. These sorts of explanations may not be sufficient for many use cases that require dynamic, continuous discovery from stakeholders. In the literature, few works ask decision-makers about the utility of existing explanations and other desiderata they would like to see in an explanation going forward. In this work, we address this gap and carry out a study where we interview doctors, healthcare professionals, and policymakers about their needs and desires for explanations. Our study indicates that decision-makers would strongly prefer interactive explanations in the form of natural language dialogues. Domain experts wish to treat machine learning models as "another colleague", i.e., one who can be held accountable by asking why they made a particular decision through expressive and accessible natural language interactions. Considering these needs, we outline a set of five principles researchers should follow when designing interactive explanations as a starting place for future work. Further, we show why natural language dialogues satisfy these principles and are a desirable way to build interactive explanations. Next, we provide a design of a dialogue system for explainability and discuss the risks, trade-offs, and research opportunities of building these systems. Overall, we hope our work serves as a starting place for researchers and engineers to design interactive explainability systems.

연구 동기 및 목표

• 도메인 전문가(의료 및 정책)가 실제로 모델 설명을 어떻게 활용하는지 이해한다.
• 현재 설명가능성 방법의 격차와 문제점을 식별한다.
• 인터랙티브한 설명을 위한 원칙 집합을 제안한다.
• 설명가능성 대화 시스템의 설계 로드맵을 개요한다.
• 자연어 설명가능 대화의 위험, trade-offs, 연구 기회를 논의한다.

제안 방법

• 의사와 정책 전문가를 대상으로 설명가능성 필요성과 문제점을 평가하기 위해 26건의 반구조화된 인터뷰를 수행했다.
• 인터뷰 결과를 종합하여 인터랙티브한 설명을 위한 원칙을 도출했다.
• 설명가능 대화 시스템을 위한 4-모듈 아키텍처를 제안한다(NLU, 설명 모듈, 응답 생성, GUI).
• 스크립트된 응답과 동적 응답 간의 설계 옵션 및 트레이드오프, 다회 대화에서 컨텍스트를 처리하는 방법을 논의한다.
• 대화 기반 설명의 NLP, 설명가능성, UI 및 확장성 전반의 로드맵과 과제를 제시한다.

실험 결과

연구 질문

• RQ1 실무자들이 정적 특징 중요도 외에 어떤 설명을 필요로 하고 바라는가?
• RQ2 도메인 전문가들은 한 번성 설명보다 인터랙티브하고 대화형 설명을 선호하는가?
• RQ3 고위험 도메인에서 인터랙티브 설명가능 시스템 설계를 이끄는 원칙은 무엇인가?
• RQ4 자연어 설명가능 대화 시스템의 주요 설계 및 구현 과제는 무엇인가?
• RQ5 설명가능성을 위한 이러한 대화 시스템을 배포할 때의 위험과 기회는 무엇인가?

주요 결과

• 도메인 전문가는 기존 설명 패러다임에 불만을 가지며 인터랙티브한 설명을 원한다.
• 실무자들은 정적 설명보다 자연어 대화를 통한 모델과의 상호 작용을 선호한다.
• 자연어 대화는 더 효과적인 설명가능성으로 가는 바람직한 경로로 여겨진다.
• 실무자들은 설명과 함께 제공되는 정확성/정확도 지표에 높은 가치를 두는 편이다.
• 인터랙티브한 설명을 위한 다섯 가지 원칙이 제안된다: 적절히 상호작용하고, 적절히 응답하며, 적절히 보정된 응답을 제공하고, 설명가능성의 부담을 줄이며, 맥락을 고려한다.