[論文レビュー] Developing a Fidelity Evaluation Approach for Interpretable Machine Learning

Mythreyi Velmurugan, Chun Ouyang+2 more|arXiv (Cornell University)|Jun 15, 2021

Explainable Artificial Intelligence (XAI)被引用数 13

ひとこと要約

本稿では、表形式のブラックボックスモデルを説明するための局所的特徴寄与度手法（LIMEおよびSHAP）の正確性を評価するための三段階の忠実度評価手法を提案する。透明なホワイトボックスモデルを代理として用いることで、ブラックボックスモデルと説明の両方が、支持的および反対的特徴の摂動に対してどの程度一致するかを測定し、忠実度がモデルの複雑さ、データ構造、およびブラックボックスモデルと説明可能モデルの内部メカニズムに強く依存することを明らかにする。また、いずれの手法も一貫して優れているとは限らず、状況依存的であることが示された。

ABSTRACT

Although modern machine learning and deep learning methods allow for complex and in-depth data analytics, the predictive models generated by these methods are often highly complex, and lack transparency. Explainable AI (XAI) methods are used to improve the interpretability of these complex models, and in doing so improve transparency. However, the inherent fitness of these explainable methods can be hard to evaluate. In particular, methods to evaluate the fidelity of the explanation to the underlying black box require further development, especially for tabular data. In this paper, we (a) propose a three phase approach to developing an evaluation method; (b) adapt an existing evaluation method primarily for image and text data to evaluate models trained on tabular data; and (c) evaluate two popular explainable methods using this evaluation method. Our evaluations suggest that the internal mechanism of the underlying predictive model, the internal mechanism of the explainable method used and model and data complexity all affect explanation fidelity. Given that explanation fidelity is so sensitive to context and tools and data used, we could not clearly identify any specific explainable method as being superior to another.

研究の動機と目的

• 表形式データにおける説明忠実度のための堅牢で機能的根拠に基づいた評価手法の不足に対処すること。
• 表形式データセット上で訓練されたブラックボックスモデルに適応可能な忠実度評価フレームワークを構築すること。
• 多様な表形式データセット上で広く使われている2つの局所的特徴寄与度手法（LIMEおよびSHAP）の忠実度を評価すること。
• ブラックボックスモデルおよび説明可能モデルの内部メカニズム、モデルの複雑さ、データ特性が説明忠実度に与える影響を調査すること。
• 実世界の表形式機械学習応用における説明品質を再現可能で透明かつ明確に評価する手法を提供すること。

提案手法

• 段階1：ブラックボックスモデルと同一のデータ上で学習された完全に透明で、本質的に解釈可能なホワイトボックスモデル（例：決定木または線形モデル）を訓練し、説明評価の基準として用いる。
• 段階2：ホワイトボックスモデルを用いて、ブラックボックスモデルが生成する説明の評価を精緻化・キャリブレーションする。具体的には、説明を支持する摂動と反対する摂動の両方をテストする。
• 段階3：精緻化された評価手法を適用し、ブラックボックスモデルの説明の忠実度をホワイトボックスモデルを基準として評価する。説明が真の意思決定境界とどの程度一致するかを測定する。
• 2つの忠実度指標を定義する：『支持忠実度』（予測を維持する摂動におけるブラックボックスモデルと説明の一致度）および『反対忠実度』（予測を変更する摂動における一致度）。
• モデルの重要度およびデータ分布に従って、ヒューリスティックに基づく特徴および特徴値の選択を摂動に用いる。
• UCI機械学習レポジトリの6つのオープンソース表形式データセットにこの手法を適用し、回帰および分類の両タスクにおいてLIMEおよびSHAPを評価する。

実験結果

リサーチクエスチョン

• RQ1 表形式データにおける説明忠実度のための機能的根拠に基づいた評価手法を体系的に開発するにはどうすればよいか？
• RQ2 ブラックボックスモデルおよび説明可能モデルの内部メカニズムが、説明忠実度にどの程度影響を与えるか？
• RQ3 モデルおよびデータの複雑さが、LIMEおよびSHAPが生成する説明の忠実度にどのように影響するか？
• RQ4 ホワイトボックスの代理モデルは、表形式の文脈においてブラックボックスモデルの説明評価を信頼できてか？
• RQ5 LIMEまたはSHAPのいずれかの説明可能手法が、多様な表形式データセット全体で一貫して優れていると見なせるか？

主な発見

• 説明忠実度は、下位のブラックボックスモデルの内部メカニズムに強く依存しており、より複雑なモデルでは説明の信頼性が低下する傾向がある。
• 説明可能手法の内部メカニズム（例：LIMEの局所線形近似やSHAPのゲーム理論的アプローチ）が、忠実度の結果に顕著な影響を与える。
• モデルおよびデータの複雑さが、説明忠実度の主要な決定要因であり、複雑さが高くなると説明品質のばらつきが大きくなる。
• LIMEおよびSHAPのいずれの説明可能手法も、すべてのデータセットおよびタスクで一貫して優れているとは限らず、状況に依存した性能を示す。
• 説明忠実度の境界はほとんど常に明確ではなく、小さな特徴値の摂動に対しても脆弱で感度が高いことが示唆された。
• 提案された三段階手法は、表形式機械学習モデルにおける説明忠実度の再現可能で透明かつ文脈に配慮した評価を成功裏に実現した。