[論文レビュー] Does it care what you asked? Understanding Importance of Verbs in Deep Learning QA System

Barbara Rychalska, Dominika Basaj+2 more|arXiv (Cornell University)|Sep 11, 2018

Topic Modeling参考文献 9被引用数 7

ひとこと要約

この論文は、WordNetの対義語を用いて質問の動詞を否定することで、深層学習QAシステムにおける動詞の役割を調査している。顕著な意味的変化にもかかわらず、90.5%のケースでQAシステムの予測は変化しなかった。これは、データセットのバイアスと名前付きエンティティを動詞よりも優先するモデルの注目メカニズムのため、動詞がほとんど影響を持たないことを示している。

ABSTRACT

In this paper we present the results of an investigation of the importance of verbs in a deep learning QA system trained on SQuAD dataset. We show that main verbs in questions carry little influence on the decisions made by the system - in over 90% of researched cases swapping verbs for their antonyms did not change system decision. We track this phenomenon down to the insides of the net, analyzing the mechanism of self-attention and values contained in hidden layers of RNN. Finally, we recognize the characteristics of the SQuAD dataset as the source of the problem. Our work refers to the recently popular topic of adversarial examples in NLP, combined with investigating deep net structure.

研究の動機と目的

• 深層学習QAシステムにおける意思決定に及ぼす動詞の意味的要因の影響を調査すること。
• 意味の否定が顕著に変化しても、システムの予測が変化するかどうかを検討すること。
• RNNベースのQAモデルにおける注目メカニズムと隠れ表現の内部メカニズムを分析すること。
• SQuADデータセットに、モデルが動詞の意味を無視する原因となる構造的バイアスが存在するかどうかを診断すること。

提案手法

• WordNetを用いて主な動詞をその対義語に置き換えることで、構文構造を保ったまま敵対的質問を生成した。
• SQuAD開発セット上で、元の質問と否定された質問の間でモデル出力の一貫性を測定した。
• 品詞に注目して、質問の自己注目スコアを分析し、語の重要性を評価した。
• LSTM層間の隠れ状態における分散とエントロピーを可視化・比較することで、意味の符号化を追跡した。
• 注目スコアの差の有意性を評価するために、Kolmogorov-Smirnov検定を用いた。
• 注目スコアと隠れ層統計（分散、エントロピー）を相関させ、符号化のパターンを特定した。

実験結果

リサーチクエスチョン

• RQ1 QA質問における動詞の意味を否定することで、モデルの予測される回答にどのような影響を与えるか？
• RQ2 QAモデルの注目メカニズムは、他の品詞と比較して、どの程度動詞を優先するか？
• RQ3 意味的重要性と表現の分散は、RNNの隠れ層にどのように符号化されているか？
• RQ4 SQuADデータセットのどの構造的特徴が、モデルが動詞の意味に鈍感になる原因となっているか？

主な発見

• 動詞を否定しても、90.5%のケースでモデルの予測される回答に変化がなかったが、意味的変化は顕著であった。
• 元の質問と否定された質問の間で、平均的な意思決定の確信度（ソフトマックス確率）はほぼ同一であった（0.61 対 0.60）。
• 動詞の自己注目スコアは、名詞（平均 5.43）と比較して顕著に低く、平均 2.32 にとどまり、動詞への注目がほとんどなかった。
• Kolmogorov-Smirnov検定により、動詞と名詞の間で注目スコア分布の差に統計的に有意な差が確認された（p < 0.001）。
• LSTMの隠れ層における分散は、名詞（特に名前付きエンティティ）のほうが動詞よりも高かった。分散と注目スコアの間に 0.85 のピアソン相関が確認された。
• 隠れ状態のエントロピーと注目スコアの間に強い負の相関（r = -0.91）が確認され、意味的重要性がネットワークの初期段階で符号化されていることが示された。