[論文レビュー] XPROAX-Local explanations for text classification with progressive neighborhood approximation

Yi Cai, Arthur Zimek+1 more|arXiv (Cornell University)|Sep 30, 2021

Explainable Artificial Intelligence (XAI)参考文献 48被引用数 3

ひとこと要約

XPROAX は、対照的例をランドマークとして用い、局所的な近傍を段階的に改善する潜在空間における二段階のプログレッシブ近傍近似を用いる、テキスト分類器向けの局所的でモデルに依存しない解釈手法を提案する。この手法は、LIME や XSPELLS などの最先端手法と比較して、解釈の有用性、安定性、完全性、コンパクト性、正しさの面で優れた性能を達成する。

ABSTRACT

The importance of the neighborhood for training a local surrogate model to approximate the local decision boundary of a black box classifier has been already highlighted in the literature. Several attempts have been made to construct a better neighborhood for high dimensional data, like texts, by using generative autoencoders. However, existing approaches mainly generate neighbors by selecting purely at random from the latent space and struggle under the curse of dimensionality to learn a good local decision boundary. To overcome this problem, we propose a progressive approximation of the neighborhood using counterfactual instances as initial landmarks and a careful 2-stage sampling approach to refine counterfactuals and generate factuals in the neighborhood of the input instance to be explained. Our work focuses on textual data and our explanations consist of both word-level explanations from the original instance (intrinsic) and the neighborhood (extrinsic) and factual- and counterfactual-instances discovered during the neighborhood generation process that further reveal the effect of altering certain parts in the input text. Our experiments on real-world datasets demonstrate that our method outperforms the competitors in terms of usefulness and stability (for the qualitative part) and completeness, compactness and correctness (for the quantitative part).

研究の動機と目的

• 高次元性とスパarsity による制約により、テキスト分類の解釈における有効な局所的近傍生成が不十分であるという問題に対処すること。
• XSPELLS などの既存手法が用いる潜在空間におけるランダムサンプリングの限界を克服すること。
• 元のテキストの単語（内在的）と近傍の単語（外在的）の両方を組み合わせることで、解釈の質を向上させること。
• 完全性、コンパクト性、正しさの評価を定量的に行うフレームワークを構築すること。
• 入力テキストを超えた近傍探索が、より包括的で安定した解釈をもたらすことを実証すること。

提案手法

• XPROAX は、入力テキストを近傍を保全する潜在空間にマッピングする生成的オートエンコーダーを用いる。
• 近傍を、予測を変える可能性がある対照的例（すなわち、モデルの予測を変えるテキスト）で初期化し、これをランドマークとして用いる。
• 二段階のサンプリングプロセスにより、これらの対照的例を段階的に改善する：まずより現実的な対照的例を生成し、次に局所的近傍における事実的例を生成する。
• 包括的な洞察を得るため、元の入力（内在的）と生成された近傍（外在的）からの単語レベルの解釈を抽出する。
• ブラックボックスの意思決定境界を近似するため、精錬された近傍に基づいて局所的スレーブモデルを訓練する。
• 説明誘導型編集後の信頼度低下に基づき、完全性、コンパクト性、正しさの指標を用いて、自動評価フレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間におけるプログレッシブでランドマークベースの近傍近似は、テキスト分類器の局所的解釈の質を向上させ得るか？
• RQ2 近傍からの外在的単語を組み込むことで、内在的単語のみに依存する場合と比較して、解釈の安定性と有用性は向上するか？
• RQ3 潜在空間における構造的サンプリング戦略は、ランダムサンプリングに比べて、忠実で意味のある近傍を生成する上で優れているとまでは言えるか？
• RQ4 提案された定量的指標（完全性、コンパクト性、正しさ）は、人間の評価による解釈品質とどの程度相関するか？
• RQ5 本手法は、多様なテキスト分類モデルやデータセットに適用されても、高い忠実性と安定性を維持できるか？

主な発見

• XPROAX は、全実験設定で最高の完全性を達成し、Yelp-RF データセットでは平均信頼度低下 0.740 ± 0.22、Yelp-DNN データセットでは 0.825 ± 0.35 を記録した。
• 4つの設定のうち3つで最高のコンパクト性を達成し、Yelp-RF では1回の操作あたりの平均信頼度低下 0.417 ± 0.33、Yelp-DNN では 0.302 ± 0.43 を記録した。
• 正しさの面で顕著な向上を示し、閾値を 0.1 から 0.3 に引き上げた際の ∆η（コンパクト性の変化）は、Yelp-RF で +0.153、Yelp-DNN で +0.206 となり、XSPELLS やベースラインを上回った。
• Amazon データセットでは、RF モデルを用いた場合、完全性で 0.506 ± 0.20、コンパクト性で 0.354 ± 0.21 の信頼度低下を達成し、DNN モデルではそれぞれ 0.665 ± 0.21 と 0.298 ± 0.25 を記録した。
• LIME はやや高い正しさを示したが、初期のコンパクト性が低かったため、全データセットで完全性とコンパクト性の面で XPROAX が上回った。
• 結果から、入力テキストを超えた近傍探索は、内在的単語のみに依存するか、潜在空間におけるランダムサンプリングに依存する手法よりも、包括的で安定した解釈をもたらすことが確認された。