[論文レビュー] Model Agnostic Multilevel Explanations

Karthikeyan Natesan Ramamurthy, Bhanukiran Vinzamuri+2 more|arXiv (Cornell University)|Mar 12, 2020

Explainable Artificial Intelligence (XAI)参考文献 21被引用数 20

ひとこと要約

本稿では、LIMEなどの手法からの局所的説明をクラスタリングすることで、グローバル、中間、インスタンスレベルの階層的説明ツリーを構築するメタ手法であるモデルに依存しない多次元説明（MAME）を提案する。ブラックボックスモデルの忠実度を保持しつつ、グループ間の凝集性を同時に最適化することで、忠実度とスケーラビリティを向上させ、専門家および非専門家のユーザースタディによって検証された。

ABSTRACT

In recent years, post-hoc local instance-level and global dataset-level explainability of black-box models has received a lot of attention. Much less attention has been given to obtaining insights at intermediate or group levels, which is a need outlined in recent works that study the challenges in realizing the guidelines in the General Data Protection Regulation (GDPR). In this paper, we propose a meta-method that, given a typical local explainability method, can build a multilevel explanation tree. The leaves of this tree correspond to the local explanations, the root corresponds to the global explanation, and intermediate levels correspond to explanations for groups of data points that it automatically clusters. The method can also leverage side information, where users can specify points for which they may want the explanations to be similar. We argue that such a multilevel structure can also be an effective form of communication, where one could obtain few explanations that characterize the entire dataset by considering an appropriate level in our explanation tree. Explanations for novel test points can be cost-efficiently obtained by associating them with the closest training points. When the local explainability technique is generalized additive (viz. LIME, GAMs), we develop a fast approximate algorithm for building the multilevel tree and study its convergence behavior. We validate the effectiveness of the proposed technique based on two human studies -- one with experts and the other with non-expert users -- on real world datasets, and show that we produce high fidelity sparse explanations on several other public datasets.

研究の動機と目的

• ローカルインスタンスレベルの説明とグローバルデータセットレベルの説明の間の多次元説明可能性のギャップを解消すること、特にGDPR準拠要件を考慮して。
• データポイント間の凝集性の程度を変化させることで、柔軟かつユーザーカスタマイズ可能な説明の粒度を可能にすること。
• 複数の抽象化レベルで一意で重複のないインサイトを生成することで、説明の忠実度と伝達価値を向上させること。
• 一般化加法モデル（例：LIME）を用いる場合に特に有効な、原理的近似を用いた説明プロセスのスケーリング。
• 公開データセット上の定量的指標とヒューマンスタディを用いて、手法の有効性を検証すること。

提案手法

• MAMEは、葉が局所的説明、根がグローバル説明、中間ノードがクラスタリングから導かれたグループレベルの説明である多次元説明ツリーを構築する。
• 類似したブラックボックス予測を持つデータポイントに対して説明の類似性を強制するための共同最適化フレームワークを用い、予測の近接度に基づく重み付き隣接行列を活用する。
• ユーザが指定したグループ化やクラスベースの類似性といった補助情報を利用して、クラスタリングと説明の凝集性をガイドする。
• 一般化加法モデル（例：LIME、GAM）に対して、収束性が保証された高速な近似アルゴリズムを導入する。
• 固定された非ゼロ特徴量数を保つために、スパースで解釈可能な説明を保証する後処理を採用する。
• モデルに依存しないアプローチであり、パラメトリックな形をとる任意の局所的説明手法に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 多次元説明は、ローカルまたはグローバル説明だけでは捉えきれないインサイトを提供できるか？
• RQ2 説明の凝集性をどのように制御すれば、意味のある中間レベルのグループ化を生成できるか？
• RQ3 MAMEは、Two Step や SP-LIME といった既存手法と比較して説明の忠実度を向上させられるか？
• RQ4 MAMEは、高品質な説明の忠実度を維持しつつ、効率的にスケーリングできるか？
• RQ5 専門家および非専門家のユーザが、多次元説明の解釈可能性と有用性をどのように評価するか？

主な発見

• MAMEは、特にクラスタ数が少ない場合に、分類データセットにおいてTwo Step や SP-LIME よりも一般化された忠実度で優れている。これは説明可能性にとって重要である。
• Auto MPG回帰データセットでは、MAMEとTwo Step は類似した性能を示し、両者とも SP-LIME より優れている。これは、データセットの単純さに起因するものであり予想通りである。
• ATISデータセットでは、SP-LIME はスケーリングが著しく遅く、MAME は依然として効率的かつ効果的であった。
• MAMEの特徴量重要度順位は、他の手法と比較してブラックボックスモデルの真の特徴量重要度に近づいており、Waveformを除けば依然として良好な性能を示した。
• 専門家および非専門家のユーザスタディにより、多次元説明がローカルまたはグローバルビューに包含されない、一意で重複のないインサイトを提供することが確認された。
• 本手法は、動作が異なるがタイプは類似した異なるメーカーのポンプといった意味のあるグループ化を効果的に同定でき、実用的な解釈可能性の価値を示した。