[論文レビュー] Rethinking Explainability as a Dialogue: A Practitioner's Perspective

Himabindu Lakkaraju, Dylan Slack+3 more|arXiv (Cornell University)|Feb 3, 2022

Explainable Artificial Intelligence (XAI)被引用数 28

ひとこと要約

本論文は対話型の自然言語による説明可能性の対話を提案し、原則、設計ロードマップ、および今後の研究を導く実務者研究を提供する。

ABSTRACT

As practitioners increasingly deploy machine learning models in critical domains such as health care, finance, and policy, it becomes vital to ensure that domain experts function effectively alongside these models. Explainability is one way to bridge the gap between human decision-makers and machine learning models. However, most of the existing work on explainability focuses on one-off, static explanations like feature importances or rule lists. These sorts of explanations may not be sufficient for many use cases that require dynamic, continuous discovery from stakeholders. In the literature, few works ask decision-makers about the utility of existing explanations and other desiderata they would like to see in an explanation going forward. In this work, we address this gap and carry out a study where we interview doctors, healthcare professionals, and policymakers about their needs and desires for explanations. Our study indicates that decision-makers would strongly prefer interactive explanations in the form of natural language dialogues. Domain experts wish to treat machine learning models as "another colleague", i.e., one who can be held accountable by asking why they made a particular decision through expressive and accessible natural language interactions. Considering these needs, we outline a set of five principles researchers should follow when designing interactive explanations as a starting place for future work. Further, we show why natural language dialogues satisfy these principles and are a desirable way to build interactive explanations. Next, we provide a design of a dialogue system for explainability and discuss the risks, trade-offs, and research opportunities of building these systems. Overall, we hope our work serves as a starting place for researchers and engineers to design interactive explainability systems.

研究の動機と目的

• 医療と政策を含むドメイン専門家が実践でモデルの説明をどのように活用するかを理解する。
• 現行の説明可能性手法のギャップと痛点を特定する。
• 対話型説明の原則のセットを提案する。
• 説明可能性対話システムの設計ロードマップを概説する。
• 自然言語による説明可能性対話におけるリスク、トレードオフ、研究機会を検討する。

提案手法

• 医師と政策専門家を対象に、説明可能性のニーズと痛点を評価するために26件の半構造化インタビューを実施した。
• インタビュー結果を統合して、対話型説明の原則を抽出した。
• 説明可能性対話システムの4モジュールアーキテクチャを提案する（NLU、説明モジュール、応答生成、GUI）。
• スクリプトされた応答と動的応答の設計オプションとトレードオフ、および複数ターンの対話における文脈の取り扱いを検討する。
• 対話型の説明におけるNLP、説明可能性、UI、スケーラビリティのロードマップと課題を提示する。

実験結果

リサーチクエスチョン

• RQ1 実務者が静的な特徴量の重要度を超えた説明に求めるニーズと望ましい要素は何か？
• RQ2 ドメイン専門家は一度限りの説明より対話型の対話ベースの説明を好むのか？
• RQ3 高リスク領域で対話型説明システムを設計する際に指針となる原則は何か？
• RQ4 自然言語による説明可能性対話システムの主要な設計・実装課題は何か？
• RQ5 このような対話システムを説明可能性のために展開する際のリスクと機会は何か？

主な発見

• ドメイン専門家は既存の説明パラダイムに不満を持ち、対話型の説明を望んでいる。
• 実務者は静的な説明より自然言語対話を介したモデルとの対話を好む。
• 自然言語対話はより効果的な説明可能性への有望な道として見なされている。
• 実務者は説明に付随する正確性・正確さの指標を高く評価している。
• 対話型説明のための5つの指針が提案される：適切に対話する、適切に応答する、適切に較正された応答、説明可能性のオーバーヘッドを減らす、文脈を考慮する。