[論文レビュー] Interpretation of NLP models through input marginalization

Siwon Kim, Jihun Yi+2 more|arXiv (Cornell University)|Oct 27, 2020

Explainable Artificial Intelligence (XAI)参考文献 27被引用数 6

ひとこと要約

本稿では、NLPモデルの解釈手法として入力マージナライゼーションを提案し、標準的なゼロ消去手法に代わって、BERTのマスク言語モデルを用いた尤度ベースのマージナライゼーションを採用することで、分布外（OOD）の問題を回避する。この手法により、より正確な帰属スコアが得られ、微調整されたMLMによるモデリングが最も妥当な解釈をもたらし、'film' や 'movie' といった関係のないトークンに対する誤ったスコアを、事前学習モデルと比較して90%以上削減する。

ABSTRACT

To demystify the "black box" property of deep neural networks for natural language processing (NLP), several methods have been proposed to interpret their predictions by measuring the change in prediction probability after erasing each token of an input. Since existing methods replace each token with a predefined value (i.e., zero), the resulting sentence lies out of the training data distribution, yielding misleading interpretations. In this study, we raise the out-of-distribution problem induced by the existing interpretation methods and present a remedy; we propose to marginalize each token out. We interpret various NLP models trained for sentiment analysis and natural language inference using the proposed method.

研究の動機と目的

• トークンのゼロ消去を用いる従来のNLPモデル解釈手法に、分布外（OOD）の問題が生じることを特定すること。
• ゼロ消去を廃止し、候補トークンの尤度を考慮する入力マージナライゼーションに置き換えることで、その問題を是正すること。
• 微調整されたBERT MLMによる尤度モデリングが、一様分布や事前分布よりも、帰属スコアの忠実性を向上させることを示すこと。
• 感情分析および自然言語推論タスクにおいて、定量的相関と定性的な解釈分析を用いて、本手法の妥当性を検証すること。
• 適応的トリミングによるマージナライゼーションが、完全マージナライゼーションと同等の相関を維持しながら、計算コストを削減できることを示すこと。

提案手法

• 入力内の各トークンを、すべての可能なトークンへの分布に置き換えることで、分布外入力を回避する。
• 文脈を考慮した各候補トークンの尤度を、BERTのマスク言語モデル（MLM）を用いて推定する。
• 推定された尤度を用いて各トークンをマージナライズすることで帰属スコアを計算し、分布の一貫性を保持する。
• 高い尤度を持つ候補（例：σ = 10⁻⁵ 以上）のみを選択することで、計算コストを削減しつつ精度を維持する、適応的トリミングを適用する。
• 完全マージナライゼーションとの相関をPearson相関係数で評価し、速度と忠実性の両面で最適化する。
• 下流のデータセット（例：SST-2）でBERT MLMを微調整することで、タスク固有の文脈における尤度推定を向上させる。

実験結果

リサーチクエスチョン

• RQ1 従来のNLPモデル解釈手法における標準的なゼロ消去法は、分布外（OOD）入力の影響により、誤った結果をもたらすか？
• RQ2 候補トークンの尤度に基づく分布を用いて各トークンをマージナライズすることで、ゼロ消去法に比べて解釈の忠実性が向上するか？
• RQ3 尤度モデリングの選択（一様分布、事前分布、事前学習済みMLM、微調整済みMLM）が帰属スコアの品質に与える影響はいかほどか？
• RQ4 適応的トリミングは、完全マージナライゼーションとの相関を損なわず、計算コストをどの程度削減できるか？
• RQ5 提案手法は、感情分析や自然言語推論といった実世界のNLPタスクにおいて、より妥当で正確な解釈を提供できるか？

主な発見

• 一様尤度モデルは意味のある解釈を生み出せず、無関係なトークンに対しても高いスコアを割り当てた。
• 事前確率モデリングはわずかに改善したが、'film' や 'movie' といった一般的な語に対して依然として誤った帰属スコアを出力した。
• 事前学習済みBERT MLMは、'film' と 'movie' の帰属スコアをそれぞれ0.256と0.631から0.007と0.321に低下させ、忠実性の向上を示した。
• 微調整済みBERT MLMが最も正確な解釈をもたらし、完全マージナライゼーションとの相関が最も高く、帰属スコアも最も妥当であった。
• σ = 10⁻⁵ での適応的トリミングは、完全マージナライゼーションと0.9999のPearson相関を達成しながら、平均マージナライゼーション回数を30,522から791に削減した。
• 上位1000候補に固定でトリミングした手法は、σ = 10⁻⁵ での適応的トリミング（0.9823）よりも相関が低く、尤度に依存したトリミングがより効果的であることを示した。