[論文レビュー] Hierarchical Memory Networks for Answer Selection on Unknown Words

Jiaming Xu, Jing Shi+4 more|arXiv (Cornell University)|Sep 28, 2016

Topic Modeling参考文献 18被引用数 9

ひとこと要約

本稿では、質問応答における回答選択のための文レベルおよび語レベルの記憶を統合的にモデル化する新規アーキテクチャ、階層的メモリネットワーク（HMN）を提案する。k-最大プーリングを用いて上位k個の関連する文を選択し、その後語レベルの記憶に対してアテンションを適用することで、HMNは特に希少語や未知語に対して細かく精巧な意味的詳細を効果的に捉えることができ、未知の回答を含む合成対話データセットにおいて、標準的なメモリネットワークを上回る性能を発揮する。

ABSTRACT

Recently, end-to-end memory networks have shown promising results on Question Answering task, which encode the past facts into an explicit memory and perform reasoning ability by making multiple computational steps on the memory. However, memory networks conduct the reasoning on sentence-level memory to output coarse semantic vectors and do not further take any attention mechanism to focus on words, which may lead to the model lose some detail information, especially when the answers are rare or unknown words. In this paper, we propose a novel Hierarchical Memory Networks, dubbed HMN. First, we encode the past facts into sentence-level memory and word-level memory respectively. Then, (k)-max pooling is exploited following reasoning module on the sentence-level memory to sample the (k) most relevant sentences to a question and feed these sentences into attention mechanism on the word-level memory to focus the words in the selected sentences. Finally, the prediction is jointly learned over the outputs of the sentence-level reasoning module and the word-level attention mechanism. The experimental results demonstrate that our approach successfully conducts answer selection on unknown words and achieves a better performance than memory networks.

研究の動機と目的

• 質問応答において、標準モデルがそのような語を破棄またはマスクしてしまうような希少語や未知語の回答選択の課題に対処すること。
• 文レベルおよび語レベルの記憶表現を組み込むことで、長文脈の事実に対する推論を改善すること。
• 文レベルの推論と語レベルのアテンションを同時に学習させることで、未観測または希少なエンティティに対してもモデルの頑健性を向上させること。
• k-最大プーリングを用いて注目範囲を最も関連する文に制限することで、計算コストを低減しつつ高い性能を維持すること。
• 文脈に適応した語の符号化（例：BiGRU）を備えた階層的メモリが、QAにおける未知語検出の性能を向上させることを示すこと。

提案手法

• モデルは時系列符号化を用いて入力文を文レベルの記憶に符号化し、関連する事実を取得するためのマルチホップ推論を可能にする。
• 文レベルの記憶出力に対してk-最大プーリングを適用し、質問に対して最も関連するk個の文を選択する。
• 個々の語を文脈情報とともに符号化するためにBiGRUまたはGRUを用いて語レベルの記憶を構築し、表現品質を向上させる。
• 選択されたk個の文の語レベルの記憶に対してアテンション機構を適用し、意味的に関連する語に焦点を当てる。
• 文レベルの推論モジュールの出力と語レベルのアテンション機構の出力を統合して最終予測を行う。
• 語レベルのアテンションのプローブベクトルは、文レベルの推論モジュールから生成され、ターゲットの回答との意味的整合性を保証する。

実験結果

リサーチクエスチョン

• RQ1 階層的メモリアーキテクチャは、質問応答における希少語や未知語の回答選択性能を向上させることができるか？
• RQ2 文レベルの推論と語レベルのアテンションを組み合わせることで、標準的なメモリネットワークよりも優れた性能が得られるか？
• RQ3 語レベルの符号化の選択（例：BiGRU対比GRU対比埋め込み）が、未知語における性能に与える影響は何か？
• RQ4 k-最大プーリングにおける最適なk値は何か？性能と計算コストのバランスをとるには？
• RQ5 アテンション機構は、'the' や 'on' のようなノイズ語を効果的に除外し、未観測の回答内のキーナンバーリングエンティティに焦点を当けることができるか？

主な発見

• HMNは、希少語や未観測語が豊富に含まれる合成データセットにおいて、標準的なメモリネットワークよりも優れた回答選択性能を発揮する。
• 語レベルの記憶符号化にBiGRUを用いることで、単純な埋め込みやGRUよりも性能が著しく向上し、特にkが増加するにつれて顕著になる。
• BiGRUを用いたHMN-Jointの性能は、kの値が変化しても安定しており、頑健性とスケーラビリティを示している。
• k=4は、性能と計算コストのバランスをとる良好なトレードオフを提供しており、kをさらに大きくしても顕著な向上は得られない。
• アテンション機構は、'time' や 'go' のような関係のない語を効果的に除外し、'Wainwright' や '899917359' のようなキーナンバーリングエンティティに焦点を当てる。
• 文レベルの推論から導出されたプローブベクトルは、語レベルのアテンションを質問の意味的意図に一致させることで、その性能を向上させる。