[論文レビュー] One Explanation Does Not Fit All: The Promise of Interactive Explanations for Machine Learning Transparency

Kacper Sokol, Peter Flach|Explore Bristol Research|Jan 27, 2020

Explainable Artificial Intelligence (XAI)参考文献 38被引用数 33

ひとこと要約

本論文は、機械学習における真に対話的で個別化された説明の必要性を喚起し、ローンモデルのための Glass-Box をクラス対比的な反事実エクスプレナーとして提示し、対話型 XAI システムの望ましい条件、リスク、および評価手法について論じる。

ABSTRACT

The need for transparency of predictive systems based on Machine Learning algorithms arises as a consequence of their ever-increasing proliferation in the industry. Whenever black-box algorithmic predictions influence human affairs, the inner workings of these algorithms should be scrutinised and their decisions explained to the relevant stakeholders, including the system engineers, the system's operators and the individuals whose case is being decided. While a variety of interpretability and explainability methods is available, none of them is a panacea that can satisfy all diverse expectations and competing objectives that might be required by the parties involved. We address this challenge in this paper by discussing the promises of Interactive Machine Learning for improved transparency of black-box systems using the example of contrastive explanations -- a state-of-the-art approach to Interpretable Machine Learning. Specifically, we show how to personalise counterfactual explanations by interactively adjusting their conditional statements and extract additional explanations by asking follow-up "What if?" questions. Our experience in building, deploying and presenting this type of system allowed us to list desired properties as well as potential limitations, which can be used to guide the development of interactive explainers. While customising the medium of interaction, i.e., the user interface comprising of various communication channels, may give an impression of personalisation, we argue that adjusting the explanation itself and its content is more important. To this end, properties such as breadth, scope, context, purpose and target of the explanation have to be considered, in addition to explicitly informing the explainee about its limitations and caveats...

研究の動機と目的

• 産業界における透明な機械学習システムの必要性を喚起し、ワンサイズフィットオールの説明の限界を指摘する。
• 反事実を活用した対話的で個別化された説明のアーキテクチャを提案する。
• ローン承認モデルを用いて対話型エクスプレナー（Glass-Box）の実演と評価を行う。
• 対話型エクスプレナーの望ましい条件、課題、および安全性の配慮を特定する。
• 対話型 XAI ツールの開発に関するガイドラインと今後の研究方向性を提示する。

提案手法

• 対話型説明と対照的な反事実を中核機構として概念を提示する。
• 決定木分類器に基づく、音声・テキスト駆動の対話型反事実エクスプレナー Glass-Box を開発する。
• 二値メタ特徴空間における葉-葉距離指標を用いて最小限の反事実説明を生成する。
• 自然言語対話を通じて interactive なクエリ（Why?、Why given?、Why despite?、What if?）をサポートする。
• 公正性やその他の特性の説明を可能にするようデータセットに注釈を付け、Google AIY Voice Kit のセットアップで実装する。

(a) Default segmentation.

実験結果

リサーチクエスチョン

• RQ1 説明をどのように個別化し、対話的に操作して説明対象者のニーズにより適合させることができるか？
• RQ2 真に対話的な XAI システムの設計を導くべき特性と desiderata は何か？
• RQ3 実世界の環境で対話型エクスプレナーを展開する際の実用的な課題と安全性の懸念は何か？
• RQ4 対話型対話の中で反事実説明をどのように生成し、どのようにナビゲートできるか？
• RQ5 エンドツーエンドの対話型エクスプレナーを展開・評価する中でどのようなガイドラインが得られるか？

主な発見

• 対話型の説明は、内容、範囲、提示の仕方を通じて個別化可能であり、単なる媒体だけではない。
• 自然言語対話で提供されるクラス対比的反事実説明は、自然で直感的な説明形式である。
• エンドツーエンドの対話型説明器は、UI、NLP、NLG、対話管理、および XAI アルゴリズムの統合を必要とする。
• 説明の自由な操作を許すと、トレーニングデータやモデル情報の漏洩など、重要な安全性とプライバシーのリスクが生じる。
• Wizard-of-Oz 研究は、本格展開前に対話型説明可能性アルゴリズムを検証する代理研究として推奨される。
• Glass-Box の経験は、対話的で個別化された説明を構築するための具体的な desiderata と教訓を生み出した。

(b) User-merged segmentation.