[論文レビュー] Understanding Neural Networks through Representation Erasure

Jiwei Li, Will Monroe+1 more|arXiv (Cornell University)|Dec 24, 2016

Topic Modeling参考文献 23被引用数 462

ひとこと要約

入力表現の一部を消去してニューラルNLPモデルを解釈する枠組みを提案し、決定への影響を分析する。予測を反転させるための最小語の消去を行う強化学習法を含む。

ABSTRACT

While neural networks have been successfully applied to many natural language processing tasks, they come at the cost of interpretability. In this paper, we propose a general methodology to analyze and interpret decisions from a neural model by observing the effects on the model of erasing various parts of the representation, such as input word-vector dimensions, intermediate hidden units, or input words. We present several approaches to analyzing the effects of such erasure, from computing the relative difference in evaluation metrics, to using reinforcement learning to erase the minimum set of input words in order to flip a neural model's decision. In a comprehensive analysis of multiple NLP tasks, including linguistic feature classification, sentence-level sentiment analysis, and document level sentiment aspect prediction, we show that the proposed methodology not only offers clear explanations about neural model decisions, but also provides a way to conduct error analysis on neural models.

研究の動機と目的

• ニューラルNLPモデルの解釈性を動機づけ、どの表現が決定に寄与するかを特定する。
• 入力と隠れ表現の両方に適用可能な、一般的な消去ベースの分析フレームワークを開発する。
• 消去が言語特徴の使用、語の重要性、およびモデルアーキテクチャの挙動をどう開示するか示す。
• 決定を改善する表現の特定によって、エラー分析ツールを提供する。

提案手法

• 正解ラベルの対数尤度に対する語ベクトル次元を消去した影響を測る重要度スコア I(d) を定義する（Eq. 1）。
• 語彙レベルから文書レベルまでのNLPタスクにおいて、入力語の次元、語、または隠れユニットに対して消去を適用する。
• Word2Vec、GloVe の語彙埋め込みを用いて様々なタグ付けタスクで4層ネットワークを訓練し、次元ごとの重要度を計算する。
• 感情タスクの語レベル分析に拡張し、消去を用いて影響力のある感情指標を特定する。
• Eq. 2–7 を用いて、モデルの予測を変える最小の語のサブセットを見つける強化学習アプローチを導入する。
• 解釈性とエラー分析を示すため、POS、NER、チャンク化、接頭辞/接尾辞、語形、感情、および hotel-Review のアスペクトデータで評価する。

実験結果

リサーチクエスチョン

• RQ1 どの入力次元、語、および隠れユニットがタスク全体でニューラルNLPの決定に最も寄与しているか？
• RQ2 表現の一部を消去するとモデルの性能とエラー分析にどのような影響があるか？
• RQ3 強化学習を用いてモデルの決定を反転させる最小の語サブセットを特定できるか？
• RQ4 異なるアーキテクチャ（RNN、LSTM、Bi-LSTM）は消去に対してどの程度脆弱か？
• RQ5 消去が表現特徴に関するどんな言語的洞察（品詞、NER、感情指標）を明らかにできるか？

主な発見

• 入力ベクトル次元を消去すると、タスク依存の重要度パターンとタスク間で共有される次元が明らかになる。
• GloVeベースのモデルは頻度関連の少数の次元に依存する一方で、Word2Vec は単一の支配的な頻度次元を示さない。
• より高次のネットワーク層は重要度をより広く分配する一方で、入力層は情報を少数の次元に集中させる。
• 感情指標を示す語を消去するとBi-LSTMでより強い影響を与え、RNNよりも感情手掛かりに焦点を当てる傾向を示す。
• 語を削除すると負の重要度を生む場合があり、いくつかの語が正しい決定を妨げることがエラー分析に役立つ。
• 強化学習は予測を反転させる最小の語サブセットを特定でき、決定の解釈可能な根拠を提供する。