[論文レビュー] Visualizing and Understanding Neural Models in NLP

Jiwei Li, Xinlei Chen+2 more|arXiv (Cornell University)|Jun 2, 2015

Topic Modeling参考文献 25被引用数 166

ひとこと要約

この論文は、自然言語処理におけるニューラルネットワークの構成的性質を解釈するための可視化手法を導入し、ユニット活性化プロットと一次微分を用いた局在性推定を用いる。LSTMは否定文や逆接節において「hate」のようなキーワードに鋭く注目するのに対し、標準的なRNNよりも意味的非対称性をよりよく捉えている。これは、局在性分析が意味構成におけるモデル行動を露呈させられることを示している。

ABSTRACT

While neural networks have been successfully applied to many NLP tasks the resulting vector-based models are very difficult to interpret. For example it's not clear how they achieve {\em compositionality}, building sentence meaning from the meanings of words and phrases. In this paper we describe four strategies for visualizing compositionality in neural models for NLP, inspired by similar work in computer vision. We first plot unit values to visualize compositionality of negation, intensification, and concessive clauses, allow us to see well-known markedness asymmetries in negation. We then introduce three simple and straightforward methods for visualizing a unit's {\em salience}, the amount it contributes to the final composed meaning: (1) gradient back-propagation, (2) the variance of a token from the average word node, (3) LSTM-style gates that measure information flow. We test our methods on sentiment using simple recurrent nets and LSTMs. Our general-purpose methods may have wide applications for understanding compositionality and other semantic properties of deep networks , and also shed light on why LSTMs outperform simple recurrent nets,

研究の動機と目的

• 強力な性能を示す一方で透明性に欠ける神経ネットワークNLPモデルにおける解釈可能性のギャップを解消すること。
• 否定や強調などの状況において、神経ネットワークがどのように語句やフレーズから意味を構成するかを可視化すること。
• 一次微分を用いて、各ユニットが最終出力にどの程度寄与しているかを測る一般化された局在性分析手法を開発すること。
• LSTMや標準RNNなどのアーキテクチャの違いが、意味的構成性を捉える能力にどのように影響するかを比較すること。
• 特定のアーキテクチャ（例：LSTM）が複雑な言語現象を処理する際に他のアーキテクチャを上回る理由についての初期的知見を提供すること。

提案手法

• 否定や逆接節において、表現がどのように層を介して進化するかを可視化するため、層ごとのユニット活性化値をプロットすること。
• 時間方向に逆誤差伝搬を用いて一次微分を計算し、各ユニットが最終出力に与える寄与度（局在性）を測定すること。
• seq2seqオートエンコーダーに局在性ヒートマップを適用し、各出力トークンの予測にどの入力トークンが影響を与えているかを可視化すること。
• 分散に基づく局在性測定法の導入：文全体の平均埋め込みから各単語埋め込みの偏差を計算し、局在的な単語を特定すること。
• LSTM、Bi-LSTM、標準RNN、seq2seqオートエンコーダーなど複数のモデルにおける可視化手法を統合し、解釈可能性と行動の比較を行うこと。
• コンピュータビジョンからインspiredされた再構成と逆誤差伝搬技術を、NLPの逐次的・語彙ベースの入力構造に適合させること。

実験結果

リサーチクエスチョン

• RQ1 神経モデルは、否定、強調、逆接節を含む文において、どのように意味を構成するか？
• RQ2 一次微分で測定される局在性は、最終予測を形作るキーワードを特定する上で果たす役割は何か？
• RQ3 LSTMと標準RNNなどの異なるアーキテクチャは、意味構成の過程で重要な語に注目を保つ能力にどのように差を示すか？
• RQ4 局在性マップと分散ベースの測定法は、神経ネットワークにおける局所的構成性をどの程度露呈できるか？
• RQ5 可視化手法は、否定の「マークドネス」のような既知の言語的非対称性を、神経モデルの行動に露わにできるか？

主な発見

• LSTMモデルは、否定文における「hate」のようなキーワードに鋭く注目し、複数の層にわたり高い局在性値を維持する。これは標準RNNとは対照的である。
• 「hate」の局在性は、7〜8回の畳み込み操作を経ても顕著に保たれ、意味信号の強固な保持を示している。
• 標準RNNは、「I hate the movie though the plot is interesting」という文において、正しく「非常に否定的」と分類しているにもかかわらず、最初の節を軽視している。これは、隠れた情報伝達の仕組みが存在することを示唆している。
• Bi-LSTMモデルは、「hate the movie」と「plot is interesting」の両方に注意を向けており、両節に対するバランスの取れた注目を示している。
• seq2seqオートエンコーダーにおける局在性ヒートマップは、各予測語が対応する入力領域（例：「hate」→「hate」）にリンクしていることを示しており、学習されたアライメントが実現されている。
• デコードが進行するに従い、入力トークンの影響は薄れ、言語モデル部が支配的になる。これは、入力駆動型の推論から自己回帰的推論へのシフトを示している。