[論文レビュー] A study of data and label shift in the LIME framework

Amir Hossein Akhavan Rahnama, Henrik Boström|arXiv (Cornell University)|Oct 31, 2019

Explainable Artificial Intelligence (XAI)参考文献 7被引用数 13

ひとこと要約

本稿は、LIMEの局所的補助説明フレームワークにおけるデータおよびラベルのシフトを調査し、特徴量のランダムな摂動が入力インスタンスおよびブラックボックス予測の両方における顕著な分布シフトを引き起こすことを示している。最大平均差分（MMD）検定を用いて、これらのシフトが説明の忠実度と負の相関関係にあり、特に近傍数が増加するにつれて顕著になることが明らかになった。これは、LIMEにおけるサンプリング戦略の改善が求められることを示唆している。

ABSTRACT

LIME is a popular approach for explaining a black-box prediction through an interpretable model that is trained on instances in the vicinity of the predicted instance. To generate these instances, LIME randomly selects a subset of the non-zero features of the predicted instance. After that, the perturbed instances are fed into the black-box model to obtain labels for these, which are then used for training the interpretable model. In this study, we present a systematic evaluation of the interpretable models that are output by LIME on the two use-cases that were considered in the original paper introducing the approach; text classification and object detection. The investigation shows that the perturbation and labeling phases result in both data and label shift. In addition, we study the correlation between the shift and the fidelity of the interpretable model and show that in certain cases the shift negatively correlates with the fidelity. Based on these findings, it is argued that there is a need for a new sampling approach that mitigates the shift in the LIME's framework.

研究の動機と目的

• LIMEの摂動プロセスが局所的補助モデルにおけるデータおよびラベルのシフトを引き起こすかどうかを調査すること。
• このようなシフトがLIMEの解釈可能なモデルの忠実度に与える影響を評価すること。
• LIMEにおける現在のランダムサンプリング戦略が説明の信頼性を損なうかどうかを評価すること。
• LIMEフレームワークにおける分布シフトを軽減する新しいサンプリングアプローチの必要性を提案すること。

提案手法

• 本研究では、元のトレーニングインスタンスとLIME摂動インスタンスの分布間の統計的乖離を測定するために、最大平均差分（MMD）を用いる（データシフト）。
• ラベルシフトは、元の局所的インスタンスと摂動されたインスタンスにおけるブラックボックスモデルの予測分布をMMDを用いて比較することで評価する。
• 忠実度は、ブラックボックスモデルと補助モデルの予測値の絶対差の逆数として定量化される：$ \mathbb{F}(x,y) = \frac{1}{|f_y(x) - g_y(x)| + 1} $。
• 2つの事例研究を分析した：SVMを用いたNewsgroupsにおけるテキスト分類と、Inception V3を用いたImageNetにおけるオブジェクト検出。
• LIMEの局所的近傍選択に用いられる近傍数（$n$）を系統的に変化させ、$n$への感受性を評価した。
• 帰無仮説 $H_0: P_{X_{\text{knn}}} = P_Z$ および $H_0: P_{F(X_{\text{knn}})} = P_{F(Z)}$ を検証するために、有意水準 $\alpha = 0.05$ の二標本MMD検定を用いた。

実験結果

リサーチクエスチョン

• RQ1 LIMEにおける摂動されたデータ分布は、元のトレーニング分布と顕著に異なるか（データシフト）？
• RQ2 摂動されたインスタンスにおけるブラックボックスモデルの予測は、元の局所的インスタンスの予測と異なるか（ラベルシフト）？
• RQ3 データまたはラベルシフトの大きさとLIME補助モデルの忠実度との間に相関関係があるか？
• RQ4 近傍数（$n$）の増加が、LIMEにおけるデータおよびラベルシフトの程度にどのように影響するか？

主な発見

• Newsgroupsテキスト分類タスクにおいて、$n \geq 20$ の場合、100％のテストインスタンスでデータシフトが検出された。MMD値は $n=20$ 時に5.56 から $n=500$ 時に87.35 まで上昇した。
• 同じタスクにおいて、$n \geq 100$ の場合、100％のインスタンスでラベルシフトが検出された。MMD値は $n=100$ 時に11.97 から $n=500$ 時に63.06 まで上昇した。
• ImageNetオブジェクト検出タスクにおいて、$n \geq 5$ の場合、100％のインスタンスでデータシフトが検出された。MMD値は $n=5$ 時に0.64 から $n=500$ 時に65.32 まで上昇した。
• ラベルシフトは、$n \geq 2$ の場合、100％のImageNetインスタンスで検出された。MMD値は $n=2$ 時に1.08 から $n=500$ 時に346.30 まで上昇した。
• MMD乖離（データおよびラベルシフト）と忠実度の間に負の相関関係が観察された。シフトが大きくなるにつれて忠実度が低下し、特に $n$ が大きい場合に顕著であった。
• 結果から、LIMEの現在のランダムサンプリング戦略が顕著な分布シフトを引き起こし、特に $n$ が増加するにつれて説明の信頼性を損なうことが示された。