[論文レビュー] ViCE: Visual Counterfactual Explanations for Machine Learning Models

Óscar Gómez, Steffen Holter+2 more|arXiv (Cornell University)|Mar 5, 2020

Explainable Artificial Intelligence (XAI)参考文献 21被引用数 15

ひとこと要約

ViCE は、表形式の機械学習モデルの予測を反転させるために必要な最小限の特徴量変更を特定する、インタラクティブな視覚的分析ツールである。エンドユーザーは直感的なインターフェースを通じて、行動可能なイン사이트を探索でき、個人化された制約対応の説明を提供する。ホームエクイティ・クレジットデータセットを用いた実験で、有効性が示された。

ABSTRACT

The continued improvements in the predictive accuracy of machine learning models have allowed for their widespread practical application. Yet, many decisions made with seemingly accurate models still require verification by domain experts. In addition, end-users of a model also want to understand the reasons behind specific decisions. Thus, the need for interpretability is increasingly paramount. In this paper we present an interactive visual analytics tool, ViCE, that generates counterfactual explanations to contextualize and evaluate model decisions. Each sample is assessed to identify the minimal set of changes needed to flip the model's output. These explanations aim to provide end-users with personalized actionable insights with which to understand, and possibly contest or improve, automated decisions. The results are effectively displayed in a visual interface where counterfactual explanations are highlighted and interactive methods are provided for users to explore the data and model. The functionality of the tool is demonstrated by its application to a home equity line of credit dataset.

研究の動機と目的

• 金融や医療などの分野における意思決定において、高リスクな機械学習の解釈可能性に対する需要が高まる中、そのニーズに対応すること。
• 反転推論を用いて、エンドユーザーがモデルの予測に対して行動可能な、パーソナライズされたインサイトを入手できるようにすること。
• 非二値の表形式データに対する反転説明を効果的に可視化する視覚的分析インターフェースの開発。
• ユーザーが制約（例：時間依存の特徴量）を適用し、現実世界の制限下での予測変更の可能性を理解できるようにすること。
• 個々の予測を全体のデータ分布の文脈に置くことで、モデルの検証とバイアス検出を支援すること。

提案手法

• ツールは、表形式の数値データに対して、モデルに依存しないアルゴリズムを用いて反転説明を計算し、モデル出力を反転させるために必要な最小限の特徴量摂動に焦点を当てる。
• 反転説明を可視化するためのインタラクティブな可視化を統合し、陽性サンプル、陰性サンプル、一般サンプルの間での特徴量分布の比較を可能にする。
• ユーザーが制約（例：時間に基づく特徴量のロック）を適用し、現実世界の制限下での実行可能な変更を探索できる。
• ユーザー定義の制約が適用された際、再計算された反転説明が、予測の反転が依然として可能かどうかを明らかにする動的再計算をサポートする。
• 異なるサンプルグループにおける頻度密度分布を用いて、特徴量の重要度と単調性の傾向を可視化する。
• システムはモジュール型のブラックボックスツールとして構築されており、モデルの内部構造とは分離されており、任意のトレーニング済みモデルへのプラグアンドプレイ統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 非二値の表形式機械学習モデルに対して、反転説明をどのように効果的に可視化できるか？
• RQ2 与えられたインスタンスに対して、モデルの予測を反転させるために必要な最小限の特徴量変更のセットは何か？
• RQ3 ユーザーがインタラクティブに特徴量の変更を制約（例：時間依存の特徴量）することで、予測変更の実行可能性をどのように評価できるか？
• RQ4 視覚的分析は、反転説明と全体のデータ分布を比較することで、バイアスやモデルの欠陥を特定するのを支援できるか？
• RQ5 ユーザー定義の制約は、反転説明の実行可能性と性質にどのように影響を与えるか？

主な発見

• このツールは、モデルの予測を反転させるために必要な行動可能な最小限の特徴量値の変更を的確に同定した。例えば、満足のいく取引数を増やし、遅延期間を短くすることで効果的だった。
• 「最近の遅延発生からの月数」のような時間依存の特徴量をロックした場合、アルゴリズムはもはや実行可能な反転説明を生成できず、モデルがこうした特徴量に強く依存していることが示された。
• 「ファイル内での平均月数」などの追加の時間依存特徴量をロックしたことで、モデルが意思決定において時間的要因に強く重み付けしていることが再確認された。
• 「外部リスク評価」の制約を解除したところ、これが極めて影響力の強い特徴量であることが判明し、大きな変更が予測反転に最も効果的であることが明らかになった。
• 可視化は、陽性サンプル、陰性サンプル、一般サンプルの間での特徴量分布の比較を可能にすることで、バイアス検出を効果的に支援した。
• このシステムは、実世界での利用可能性を示しており、例えばローン申請者が自身のクレジット申請をどのように改善できるかを理解するのを支援した。