[論文レビュー] An Attention Mechanism for Answer Selection Using a Combined Global and Local View

Yoram Bachrach, Andrej Žukov-Gregorič+5 more|arXiv (Cornell University)|Jul 5, 2017

Topic Modeling参考文献 34被引用数 6

ひとこと要約

この論文は、神経的答え選択のための新しいグローバルローカルアテンションメカニズムを提案する。このメカニズムは、双方向LSTMの局所的アテンションと、全答えの別個のグローバル埋め込みを組み合わせることで、InsuranceQAデータセット上で性能を向上させる。モデルは、細分化された表現と包括的な表現の両方を活用することで、70.1%のP@1スコアを達成し、最先端の結果を出している。

ABSTRACT

We propose a new attention mechanism for neural based question answering, which depends on varying granularities of the input. Previous work focused on augmenting recurrent neural networks with simple attention mechanisms which are a function of the similarity between a question embedding and an answer embeddings across time. We extend this by making the attention mechanism dependent on a global embedding of the answer attained using a separate network. We evaluate our system on InsuranceQA, a large question answering dataset. Our model outperforms current state-of-the-art results on InsuranceQA. Further, we visualize which sections of text our attention mechanism focuses on, and explore its performance across different parameter settings.

研究の動機と目的

• 候補となる答えの局所的およびグローバル表現を統合することで、神経的答え選択の性能を向上させること。
• 従来のアテンションメカニズムが質問と答えの間の局所的単語レベルの類似性にのみ注目するという限界を是正すること。
• 全答えのグローバル埋め込みと局所的アテンションを組み合わせることで、長く複雑な答えの文脈においても答え選択の正確性が向上するかどうかを評価すること。
• アテンションメカニズムの解釈可能性と、モデルサイズおよびアーキテクチャの変化に対する感受性を分析すること。

提案手法

• モデルは、質問と候補となる答えをそれぞれ符号化するために双方向LSTMを使用し、各タイムステップで局所的隠れ状態を生成する。
• 別個の全結合ネットワークにより、全候補答えのグローバル埋め込みを計算し、全体的な意味的コンテンツを捉える。
• アテンション重みは、局所的LSTM隠れ状態とグローバル埋め込みの両方を正規化した後、それらを連結して最終的なアテンションスコアを計算する。
• 最終的なコンテキストベクトルは、アテンション重みに基づいて答えの隠れ状態の重み付き和として得られる。
• 過学習を防ぐために、エポックの早期停止とドロップアウトを用いて、交差エントロピー損失関数でモデルを訓練する。
• 性能評価は、InsuranceQAベンチマーク上でP@1と平均逆順位（MRR）を用いて行う。

実験結果

リサーチクエスチョン

• RQ1 全答えのグローバル埋め込みと局所的アテンションを組み合わせることで、答え選択の性能が向上するか。
• RQ2 標準的な局所的アテンションメカニズムと比較して、提案されたグローバルローカルアテンションメカニズムは、正確性および解釈可能性において優れているか。
• RQ3 モデルサイズが性能に与える影響は何か。また、小さなアーキテクチャでもアテンションメカニズムは有効に機能するか。
• RQ4 アテンション重みは答えのテキスト全体にどのように分布しているか。また、人間がアノテートした関連セグメントと一致しているか。

主な発見

• 提案されたグローバルローカルアテンションメカニズムは、InsuranceQAテストセットで70.1%のP@1スコアを達成し、以前の最先端手法（69.0%）を上回った。
• やや小さいモデル（隠れサイズh=141）でも強力な性能を発揮しており、効率性と頑健性が示された。
• TF-LSTM連結ベースライン（アテンションを欠如させたがTF特徴とLSTM状態を用いた）はP@1が62.1%にとどまり、アテンションが性能向上に不可欠であることが示された。
• モデルサイズが大きくなるにつれて性能は向上するが、その増加は急速に鈍り、ある容量を超えるとリターンが減少することが示された。
• 定性的な分析から、アテンションメカニズムが、たとえば「you can freeze your account」といったアクションを引き起こすフレーズのような関連セグメントに的確に注目していることがわかった。
• グローバルコンテキストと局所的アテンションを統合することで、局所的アテンションのみに依存する場合よりも、質問の意図とより良い一致を達成できることが示された。