[論文レビュー] An Extension of LIME with Improvement of Interpretability and Fidelity

Sheng Shi, Yangzhou Du+1 more|arXiv (Cornell University)|Apr 26, 2020

Explainable Artificial Intelligence (XAI)参考文献 12被引用数 4

ひとこと要約

本稿では、特徴量の依存関係をクラスタリングに基づくサンプリングで組み込み、サポートベクターレグRESSION（SVR）を用いて非線形意思決定境界をモデル化することで、局所的モデルの解釈可能性と忠実度を向上させるLIMEの拡張であるLEDSNAを提案する。実験の結果、画像分類およびテキスト分類の両タスクにおいて、LEDSNAはLIMEに比べて顕著に高い忠実度（R²が高くなる）と低い近似誤差を達成した。

ABSTRACT

While deep learning makes significant achievements in Artificial Intelligence (AI), the lack of transparency has limited its broad application in various vertical domains. Explainability is not only a gateway between AI and real world, but also a powerful feature to detect flaw of the models and bias of the data. Local Interpretable Model-agnostic Explanation (LIME) is a widely-accepted technique that explains the prediction of any classifier faithfully by learning an interpretable model locally around the predicted instance. As an extension of LIME, this paper proposes an high-interpretability and high-fidelity local explanation method, known as Local Explanation using feature Dependency Sampling and Nonlinear Approximation (LEDSNA). Given an instance being explained, LEDSNA enhances interpretability by feature sampling with intrinsic dependency. Besides, LEDSNA improves the local explanation fidelity by approximating nonlinear boundary of local decision. We evaluate our method with classification tasks in both image domain and text domain. Experiments show that LEDSNA's explanation of the back-box model achieves much better performance than original LIME in terms of interpretability and fidelity.

研究の動機と目的

• LIMEが摂動サンプリング中に特徴量相関を処理できないという限界を解消すること。
• 局所線形性を仮定するのではなく、非線形意思決定境界をモデル化することで、局所的説明の忠実度を向上させること。
• サンプリングされたインスタンスに現実的な特徴量依存関係を保持することで、解釈可能性を向上させること。
• 視覚および自然言語処理分野の複雑なディープラーニングモデルに適用可能な汎用的かつモデルに依存しない説明手法を開発すること。
• 忠実度および解釈可能性の指標において、多様な分類タスクでLIMEを一貫して上回ることを示すこと。

提案手法

• 画像ではスーパーピクセルクラスタリング、テキストでは語の分割を用いた特徴量依存関係に配慮したサンプリング戦略を導入し、現実的な摂動サンプルを生成する。
• 相関する特徴量をクラスタリングすることでグループ化し、関連するサブセットのみをサンプリングすることで、ノイズを低減し、局所モデルの品質を向上させる。
• カーネル関数を用いたサポートベクターレグRESSION（SVR）を適用し、ブラックボックスモデルの局所的非線形意思決定境界を近似する。
• 正則化された損失関数を最適化することで説明モデルを最適化する：$ J(\theta) = \text{argmin} \{ L(f(x), g_\theta(x)) + \lambda \Omega(\theta) \} $。忠実度とモデルの単純さのバランスを取る。
• データを高次元空間にマップするためのガウスカーネルをSVRで使用し、効果的な非線形近似を可能にする。
• 関係のある摂動サンプルを用いて、解釈可能なモデル（SVR）を被説明インスタンスの周囲にフィットさせることで、局所的説明を構築する。

実験結果

リサーチクエスチョン

• RQ1 LIMEにおける均一サンプリングと比較して、サンプリング段階で特徴量依存関係を組み込むことで、局所的説明の品質が向上するか？
• RQ2 局所線形性を仮定するのではなく、非線形意思決定境界をモデル化することで、局所的説明の忠実度が向上するか？
• RQ3 異なるデータモダリティにおいて、提案手法はLIMEと比較して解釈可能性および忠実度の点で優れているか？
• RQ4 クラスタリングに基づくサンプリングの使用が、局所的説明モデルにおける近似誤差をどの程度低減するか？
• RQ5 本手法は、画像分類およびテキスト分類の両タスクにおいて、高い忠実度と解釈可能性を維持できるか？

主な発見

• LEDSNAはLIMEに比べて顕著に低い局所的近似誤差を達成し、テキスト分類では平均で1桁の誤差低減が見られた。
• 画像分類において、LEDSNAのR²スコアは一貫してLIMEを上回っており、ブラックボックスモデルの予測を近似する忠実度が優れていることを示している。
• テキスト分類の1000件のテストケースのうち95％で、LEDSNAの近似誤差はLIMEを下回り、98.4％のケースでR²が高かった。
• 中国語テキストの感情分析では、高信頼度のサンプルに対してLEDSNAはR²が0.9533、誤差が0.0001を達成した。これに対しLIMEはR²が0.5779、誤差が0.0335であった。
• LEDSNAが生成する視覚的説明は、テキストにおける意味的依存関係を捉える点で、LIMEよりもより有用かつ正確な特徴量の寄与度を示している。
• 本手法は、高信頼度および低信頼度の予測を含む多様なインスタンスにおいても、優れた性能を示し、実世界のシナリオにおける信頼性と一般化能力を確認した。