[論文レビュー] LIMEtree: Consistent and Faithful Surrogate Explanations of Multiple Classes

Kacper Sokol, Peter Flach|arXiv (Cornell University)|May 4, 2020

Explainable Artificial Intelligence (XAI)被引用数 8

ひとこと要約

LIMEtree は、多出力回帰木に基づく後処理的・モデルに依存しない代替モデルを用いて、一貫性があり多クラスにわたる説明を実現する画期的なパラダイムを導入する。高忠実度を達成し、インタラクティブでカスタマイズ可能な説明（特に反事後的説明を含む）を可能とし、LIME よりも多クラスにわたる説明の質と一貫性において優れている。

ABSTRACT

Explainable artificial intelligence provides tools to better understand predictive models and their decisions, but many such methods are limited to producing insights with respect to a single class. When generating explanations for several classes, reasoning over them to obtain a comprehensive view may be difficult since they can present competing or contradictory evidence. To address this challenge we introduce the novel paradigm of multi-class explanations. We outline the theory behind such techniques and propose a local surrogate model based on multi-output regression trees -- called LIMEtree -- that offers faithful and consistent explanations of multiple classes for individual predictions while being post-hoc, model-agnostic and data-universal. On top of strong fidelity guarantees, our implementation delivers a range of diverse explanation types, including counterfactual statements favoured in the literature. We evaluate our algorithm with respect to explainability desiderata, through quantitative experiments and via a pilot user study, on image and tabular data classification tasks, comparing it to LIME, which is a state-of-the-art surrogate explainer. Our contributions demonstrate the benefits of multi-class explanations and wide-ranging advantages of our method across a diverse set of scenarios.

研究の動機と目的

• 既存の XAI メソッドにおける複数クラスにわたる一貫性のない説明の欠如に対処する。
• 単一の代替モデルから複数クラスのインサイトを生成する統一された説明フレームワークを開発する。
• 忠実度と一貫性を確保しつつ、インタラクティブなカスタマイズを可能にする。
• 同一の共有説明文脈内で、反事後的説明を含む多様な説明タイプを可能にする。
• 定量的・定性的評価およびユーザースタディを通じて、本手法の優位性を実証する。

提案手法

• 多クラス説明に特化した最適化目的関数を提案し、予測間の一貫性を保証する。
• 多出力回帰木（LIMEtree）に基づく局所代替モデルを用いてフレームワークを実装する。
• 複数クラスの予測を同時にモデル化する代替ツリーを構築し、クラス間の関係を保持する。
• 局所近傍内での代替モデルの予測が元のブラックボックスモデルと一致するように、忠実度を確保する。
• ユーザーが指定するヒューリスティクスで説明生成をガイドできるように、インタラクティブなカスタマイズを可能にする。
• ツリー構造の解析により、特に反事後的説明を含む多様な説明タイプの抽出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 単一の代替モデルが、同時に複数クラスに対して一貫性があり忠実な説明を生成できるか？
• RQ2 LIMEtree の忠実度と一貫性は、多クラス予測シナリオにおいて LIME と比較してどの程度優れているか？
• RQ3 LIMEtree はどの程度、インタラクティブでカスタマイズ可能な説明生成を支援できるか？
• RQ4 LIMEtree による多クラス説明は、単一クラス説明と比較して、理解しやすさと信頼性においてどの程度優れているか？
• RQ5 多クラス説明の多様性は、ユーザーの透明性認識とモデル理解にどのような影響を与えるか？

主な発見

• LIMEtree は、特定の状況では完全な忠実度に達するなど、複数クラスにわたってブラックボックスモデルの挙動を正確に近似することで、高忠実度を達成する。
• 本手法は、独立した単一クラスの説明がもたらす矛盾を回避するなど、複数クラスにわたる一貫性のある説明を生成する。
• LIMEtree は代替ツリーの構造解析により、反事後的説明を含む多様な説明タイプをサポートする。
• 定量的実験では、LIMEtree が画像分類タスクにおいて LIME よりも忠実度と説明品質に優れていることが示された。
• 予備のユーザースタディでは、多クラス説明が透明性を高め、単一クラスの説明と比較してより情報量が多いと認識された。
• インタラクティブなカスタマイズの統合により、ユーザーが説明を探索・カスタマイズでき、解釈可能性とユーザーエンゲージメントが向上した。