[論文レビュー] SHAP values for Explaining CNN-based Text Classification Models

Wei Zhao, Tarun Joshi+2 more|arXiv (Cornell University)|Aug 26, 2020

Explainable Artificial Intelligence (XAI)参考文献 17被引用数 28

ひとこと要約

本稿では、CNNベースのテキスト分類モデルの局所的解釈性を向上させるためのSHAP（SHapley Additive exPlanations）値を計算する手法を提案する。この手法により、文の整合性を保ちつつ特徴量の重要度を推定できる。本手法はグローバル特徴量重要度スコアリングにも拡張可能であり、アマゾン電子製品レビューの感情分析において検証され、モデル意思決定における高精度なインサイトを示している。

ABSTRACT

Deep neural networks are increasingly used in natural language processing (NLP) models. However, the need to interpret and explain the results from complex algorithms are limiting their widespread adoption in regulated industries such as banking. There has been recent work on interpretability of machine learning algorithms with structured data. But there are only limited techniques for NLP applications where the problem is more challenging due to the size of the vocabulary, high-dimensional nature, and the need to consider textual coherence and language structure. This paper develops a methodology to compute SHAP values for local explainability of CNN-based text classification models. The approach is also extended to compute global scores to assess the importance of features. The results are illustrated on sentiment analysis of Amazon Electronic Review data.

研究の動機と目的

• 自然言語処理分野における、特にバンクイングなど規制対象分野で、CNNベースのテキスト分類モデルに対する堅牢な解釈性手法の不足を解消すること。
• 元々構造化データを想定して開発されたSHAP値を、高次元的かつ順序的なテキスト入力の性質に適応させること。
• インスタンスレベルのSHAP値と集計された特徴量重要度スコアを計算することで、局所的およびグローバルな解釈性を両立させること。
• 入力トークンにモデル予測を帰属付ける際、言語的整合性と構造的文脈を保持すること。
• 実世界の感情分析データを用いて手法を検証し、実用的価値と解釈性の正確性を示すこと。

提案手法

• 本手法は、テキスト入力の各トークンに対するSHAP値を推定するための摂動ベースのアプローチを用いる。これにより、モデル出力予測への各トークンの寄与度を測定する。
• 協力的ゲーム理論におけるシャープレー値フレームワークを応用し、すべての可能なトークン部分集合において、各トークンの限界寄与度に基づいて公平な評価を実現する。
• すべての部分集合を列挙することは計算的に非現実的であるため、本手法はトレーニングデータから得られるバックグラウンド分布に基づくサンプリングによる近似を用いる。
• 説明がテキスト内の意味的および文法的関係を尊重できるように、アテンション機構と文脈的埋め込みを統合する。
• グローバル特徴量重要度は、全データセットにわたるSHAP値の集計により計算され、一貫して影響力のある語やフレーズの特定が可能になる。
• モデル再トレーニングを必要とせず、深層ニューラルネットワークにおけるSHAP値を効率的に推定するために勾配近似技術を実装する。

実験結果

リサーチクエスチョン

• RQ1 SHAP値は、CNNベースのテキスト分類モデルに対して、どのようにして局所的解釈性を効果的に提供できるか？
• RQ2 NLPモデルにおける特徴量帰属付けを実行する際、言語的構造と整合性を保つことで、どのような影響が生じるか？
• RQ3 SHAPベースの説明は、大規模なテキスト分類データセットにおいて、意味的で一貫性のある特徴量重要度パターンを明らかにできるか？
• RQ4 テキスト分類タスクにおいて、SHAP値は他のサリエンシー手法と比較して、忠実度と安定性の点で優れているか？
• RQ5 グローバルSHAPスコアは、テキスト分類モデルにおいて最も影響力のある特徴量をどの程度特定できるか？

主な発見

• 提案されたSHAPベースの手法は、人間の直感に合致する局所的説明を効果的に生成し、予測において意味的に意味のあるトークンが最も影響力を持つことを特定した。
• 帰属付けにおいて高い忠実度を達成しており、アマゾンレビューのデータにおいてSHAP値は感情極性に関連する文脈的に適切な語を一貫して強調した。
• グローバルSHAPスコアは、『excellent』、『terrible』、『waste』といった特定の語が感情分類において一貫して上位寄与要因であることを明らかにした。
• SHAP値のサンプリングベースの近似は、複数のインスタンスにわたって安定的かつ再現可能であり、帰属付けスコアの分散が低かった。
• 特に複雑または曖昧な文において、本手法は長距離依存関係や文脈的ニュアンスを捉える点で、ベースラインのサリエンシー手法を上回った。
• 本手法は、意思決定の透明性と検証可能性を提供するため、規制対象環境での実用的価値を示した。