[論文レビュー] The Out-of-Distribution Problem in Explainability and Search Methods for Feature Importance Explanations

Peter Hase, Harry Xie+1 more|arXiv (Cornell University)|Jun 1, 2021

Explainable Artificial Intelligence (XAI)被引用数 23

ひとこと要約

本稿では、自然言語処理における特徴重要度（FI）説明が、特徴を削除または置換することで生成される反事後入力が分布外（OOD）であるため、社会的整合性に欠けることが特定された。これは、モデルの挙動がランダムな重み初期化や事前分布に影響を受けることによる。これを解決するために、テスト時の説明を訓練時の分布に一致させるために、反事後入力を用いたモデルの訓練を提案し、新たな並列局所探索（PLS）手法を導入した。この手法は、6つのテキスト分類データセットにおいて、Sufficiencyで最大5.4ポイント、Comprehensivenessで最大17ポイントの性能向上を達成した。

ABSTRACT

Feature importance (FI) estimates are a popular form of explanation, and they are commonly created and evaluated by computing the change in model confidence caused by removing certain input features at test time. For example, in the standard Sufficiency metric, only the top-k most important tokens are kept. In this paper, we study several under-explored dimensions of FI explanations, providing conceptual and empirical improvements for this form of explanation. First, we advance a new argument for why it can be problematic to remove features from an input when creating or evaluating explanations: the fact that these counterfactual inputs are out-of-distribution (OOD) to models implies that the resulting explanations are socially misaligned. The crux of the problem is that the model prior and random weight initialization influence the explanations (and explanation metrics) in unintended ways. To resolve this issue, we propose a simple alteration to the model training process, which results in more socially aligned explanations and metrics. Second, we compare among five approaches for removing features from model inputs. We find that some methods produce more OOD counterfactuals than others, and we make recommendations for selecting a feature-replacement function. Finally, we introduce four search-based methods for identifying FI explanations and compare them to strong baselines, including LIME, Anchors, and Integrated Gradients. Through experiments with six diverse text classification datasets, we find that the only method that consistently outperforms random search is a Parallel Local Search (PLS) that we introduce. Improvements over the second-best method are as large as 5.4 points for Sufficiency and 17 points for Comprehensiveness. All supporting code for experiments in this paper is publicly available at https://github.com/peterbhase/ExplanationSearch.

研究の動機と目的

• 説明評価中に発生する分布外（OOD）な反事後入力が原因で生じる、特徴重要度（FI）説明の社会的整合性の欠如を特定・解決すること。
• モデルに対する反事後入力のOOD度を評価するために、さまざまな特徴置換関数（Replace関数）を比較し、それらが説明品質や指標の信頼性に与える影響を分析すること。
• LIME、Anchors、Integrated Gradientsなどの既存ベースラインを上回る高品質なFI説明を同定するための、新しい検索ベースの手法を設計・評価すること。
• テスト時の反事後入力が分布内となるように、訓練時に説明用反事後入力をモデルにさらす訓練時干渉手法を提案すること。
• SufficiencyやComprehensivenessといった標準指標を用いて、6つの多様なテキスト分類データセットで提案手法の有効性を実証的に検証すること。

提案手法

• 説明手法によって生成された反事後入力（例：上位k個の特徴を特別なトークンに置換）を用いて、モデルをファインチューニングする新しい訓練手順を提案。これにより、テスト時の反事後入力が分布内となる。
• Sufficiency指標を最大化するために、局所探索ヒューリスティクスを用いて複数の候補説明を並列に探索する新しい検索ベースの説明手法「Parallel Local Search（PLS）」を導入。
• 5つのReplace関数（1）トークンを完全に削除、（2）ゼロ埋め込みに置換、（3）特別な[MASK]トークンに置換、（4）反事後入力の平均化、（5）入力テキストではなく注意マスクを編集）を体系的に比較。
• Sufficiency指標を、特徴を置換した際のモデルの信頼度の低下として定義・計算する：$\textrm{Suff}(f,x,e) = f(x)_{\hat{y}} - f(\texttt{Replace}(x,e))_{\hat{y}}$、ここで$\hat{y}$はモデルの元の予測結果。
• 検索手法の公平な比較のため、前方および逆伝搬の回数で計算予算を測定し、壁時計時間は二次的ベンチマークとして用いる。
• Fever、SNLIなど6つのテキスト分類データセットで、SufficiencyおよびComprehensiveness指標を用いてすべての手法を評価。Replace関数と訓練時干渉のアブレーションスタディも実施。

実験結果

リサーチクエスチョン

• RQ1 FI説明評価に用いられる反事後入力の分布外（OOD）性が、モデルの事前分布やランダムな重み初期化に影響を受ける社会的整合性に欠如した説明を生じるメカニズムは何か？
• RQ2 どの特徴置換関数（Replace関数）が、モデルに対して最もOODでない反事後入力を生成し、説明品質や指標の信頼性に与える影響は何か？
• RQ3 検索ベースの手法は、LIME、Anchors、Integrated Gradientsといった既存ベースラインを上回る高品質な特徴重要度説明を同定できるか？
• RQ4 訓練時に反事後入力を用いてファインチューニングすることで、テスト時の説明の頑健性と社会的整合性が向上するか？
• RQ5 さまざまなデータセットと指標において、異なる検索アルゴリズムの相対的性能は何か？ 提案された並列局所探索（PLS）手法は一貫して他の手法を上回るか？

主な発見

• 説明手法によって生成された反事後入力でモデルを訓練することで、テスト時のアブレーションにおけるOOD性が顕著に低下し、より頑健で社会的整合性の高い説明が得られた。
• 並列局所探索（PLS）手法は、すべてのベースラインを一貫して上回り、6つのテキスト分類データセットにおいて、Sufficiencyで最大5.4ポイント、Comprehensivenessで最大17ポイントの向上を達成した。
• 評価された5つのReplace関数の中で、特別な[MASK]トークンに置換するか、注意マスクを編集する方法が、ゼロ埋め込みや完全削除よりもOOD度が低く、指標の信頼性が向上した。
• Replace関数の選択は説明品質に顕著な影響を及ぼし、入力の構造的・意味的整合性をできるだけ保つ方法を用いることで、より信頼性が高く解釈可能な説明が得られた。
• 反事後入力でファインチューニングされたモデルは、アブレーションに対してより頑健で、モデルの事前分布や重み初期化への依存が低下した。訓練時干渉が有効であることが裏付けられた。
• 最適化目的に関する理論的懸念が存在するが、PLS手法は、別の問題を解いているのではなく、正しい指標のもとで探索空間を効果的に探索した結果、優れた性能を達成した。