[論文レビュー] Towards Hierarchical Importance Attribution: Explaining Compositional Semantics for Neural Sequence Models

Xisen Jin, Zhongyu Wei+3 more|arXiv (Cornell University)|Nov 7, 2019

Explainable Artificial Intelligence (XAI)参考文献 34被引用数 74

ひとこと要約

この論文は、神経系列モデルの階層的説明のための文脈に依存しない語句の重要性を形式化し、SCDとSOCという2つのアルゴリズムを導入して、LSTMとBERTモデルの構成的意味論を明らかにする点で従来手法を上回ることを示します。

ABSTRACT

The impressive performance of neural networks on natural language processing\ntasks attributes to their ability to model complicated word and phrase\ncompositions. To explain how the model handles semantic compositions, we study\nhierarchical explanation of neural network predictions. We identify\nnon-additivity and context independent importance attributions within\nhierarchies as two desirable properties for highlighting word and phrase\ncompositions. We show some prior efforts on hierarchical explanations, e.g.\ncontextual decomposition, do not satisfy the desired properties mathematically,\nleading to inconsistent explanation quality in different models. In this paper,\nwe start by proposing a formal and general way to quantify the importance of\neach word and phrase. Following the formulation, we propose Sampling and\nContextual Decomposition (SCD) algorithm and Sampling and Occlusion (SOC)\nalgorithm. Human and metrics evaluation on both LSTM models and BERT\nTransformer models on multiple datasets show that our algorithms outperform\nprior hierarchical explanation algorithms. Our algorithms help to visualize\nsemantic composition captured by models, extract classification rules and\nimprove human trust of models. Project page: https://inklab.usc.edu/hiexpl/\n

研究の動機と目的

• ニューロン系列モデルにおける意味組み立ての階層的・非加法的説明の必要性を動機づけること。
• N-contextウィンドウ全体での文脈に依存しない語句重要度の正式な測度を提案すること。
• 実用的な説明のために測度を操作可能にする2つのアルゴリズム（SCDとSOC）を開発すること。
• 感情分析と関係抽出タスクを横断してLSTMとBERTを評価し、ベースラインより改善を示すこと。
• 可視化、ルール抽出、およびモデル予測への人間の信頼性の向上における有用性を実証すること。

提案手法

• 語句のN-context独立な重要度を、語句をマスクしたときの予測差の周囲コンテキストの平均（Eq. 3/4）として定義すること。
• 階層的説明にとって非加法性と文脈依存性の欠如を望ましい特性として特定すること（Section 3.1）。
• CDの活性化分解を文脈依存性を満たすよう調整してSCD（Sampling and Contextual Decomposition）を提案すること（Eq. 5）。
• 文脈サンプリングと語句マスクを用いた単純でモデル非依存の代替としてSOC（Sampling and Occlusion）を提案すること（Eq. 8）。
• 周囲文を生成するために事前学習済みの双方向言語モデルを用いて文脈サンプリングを実装すること（Section 3.3, 3.4）。
• SST-2、Yelp、TACREDデータセットを対象に、入力遮蔽、直接フィード、GradSHAP、CD、ACDといったベースラインに対して評価すること（Section 4）。

実験結果

リサーチクエスチョン

• RQ1 神経系列モデルにおける語句の文脈依存なしの重要度をどのように定量化できるか？
• RQ2 非加法性と文脈依存性を尊重する階層的説明は、従来手法より構成的意味論のより忠実な可視化を提供するか？
• RQ3 SCDとSOCは、CD/ACDおよび他のベースラインと比べて人間の判断と地上 truth の語句レベル注釈とより良く整合するか？
• RQ4 これらの説明は分類ルールの抽出やモデル予測への人間の信頼を高めるのに役立つか？
• RQ5 提案手法はLSTMとTransformerの両方のアーキテクチャおよび複数のNLPタスクで有効か？

主な発見

データセット	モデル	指標	入力遮蔽	直接フィード	GradSHAP	CD	ACD	統計量	SCD	SOC
SST-2	BERT	語 ρ	0.2229	0.2005	0.5073	0.2334	0.3053	0.5223	0.5481	0.6265
SST-2	BERT	語句 ρ	0.4081	0.4889	0.5991	0.3068	0.3698	0.4741	0.6015	0.6628
SST-2	LSTM	語 ρ	0.6489	0.6798	0.7024	0.6231	0.2495	0.7271	0.7151	0.7226
SST-2	LSTM	語句 ρ	0.4899	0.5588	0.5402	0.4727	0.1856	0.4959	0.5664	0.5649
Yelp	BERT	語 ρ	0.3781	0.3875	0.5791	0.2645	0.3010	0.7294	0.7180	0.6971
Yelp	BERT	語句 ρ	0.6935	0.7905	0.7388	0.7451	0.5024	0.9094	0.7793	0.7683
Yelp	LSTM	語 ρ	0.6935	0.7905	0.7388	0.7451	0.5024	0.9094	0.7793	0.7683
TACRED	BERT	語 ρ	0.7646	0.1986	0.2965	0.0052	0.2027	0.5324	0.7980	0.7982
TACRED	LSTM	語 ρ	0.5756	0.5771	0.6651	0.6508	0.0291	0.7662	0.6823	0.7354

• 文脈依存なしの語句重要度は、語句をマスクしたときの周囲文脈の予測差の期待として量化できる（Eq. 3/4）。
• SCDとSOCは、SST-2、Yelp、TACRED の語句/語の地上 truth 注釈との相関で、CD、ACD、ベースラインを一貫して上回る。
• SOCとSCDは、特に Transformer モデルにおいて、他の競合より語彙 ρ および語句 ρ のスコアが高い。
• 人間の評価では、SOC/SCDの説明が SST-2 および TACRED で GradSHAP、ACD、CD よりモデル予測への信頼を高めることを示す。
• これらの手法は、階層的な意味組み立ての可視化、ルール抽出、予測性能を犠牲にせず解釈性を向上させることを可能にする。