[論文レビュー] Cross Temporal Recurrent Networks for Ranking Question Answer Pairs

Yi Tay, Luu Anh Tuan+1 more|arXiv (Cornell University)|Nov 21, 2017

Topic Modeling参考文献 19被引用数 9

ひとこと要約

本稿では、質問-回答ペアの時間的ゲートを共同で学習することで、質問応答における系列表現学習を向上させる、新たなニューラルアーキテクチャであるクロス時系列再帰ネットワーク（CTRN）を提案する。1次元畳み込み層を用いてゲートを学習し、質問および回答の系列間でそれらを相互に適用することで、ペairワイズな時間的ゲーティングを実現し、2つのコミュニティベースのQAデータセットで最先端の性能を達成するとともに、factoid QAデータセットでも競争力のある結果を示した。さらに、LSTMに比べて顕著な高速性を実現した。

ABSTRACT

Temporal gates play a significant role in modern recurrent-based neural encoders, enabling fine-grained control over recursive compositional operations over time. In recurrent models such as the long short-term memory (LSTM), temporal gates control the amount of information retained or discarded over time, not only playing an important role in influencing the learned representations but also serving as a protection against vanishing gradients. This paper explores the idea of learning temporal gates for sequence pairs (question and answer), jointly influencing the learned representations in a pairwise manner. In our approach, temporal gates are learned via 1D convolutional layers and then subsequently cross applied across question and answer for joint learning. Empirically, we show that this conceptually simple sharing of temporal gates can lead to competitive performance across multiple benchmarks. Intuitively, what our network achieves can be interpreted as learning representations of question and answer pairs that are aware of what each other is remembering or forgetting, i.e., pairwise temporal gating. Via extensive experiments, we show that our proposed model achieves state-of-the-art performance on two community-based QA datasets and competitive performance on one factoid-based QA dataset.

研究の動機と目的

• ニューラルQAモデルにおける質問と回答の独立的符号化の制限を解決すること。これは、意味的構成における相互依存関係を捉えられていないためである。
• 両方の系列における記憶保持と忘却の共同制御を可能にすることで、質問応答における関連性スコアリングを改善すること。
• QAペア間で時間的ゲートを共同で学習することで、標準的なアテンションや連結ベースの手法を上回る表現品質の向上が可能かどうかを検証すること。
• パrameter数の増加を伴わずに高い性能を維持できるスケーラブルで効率的なアーキテクチャの開発を目的とする。

提案手法

• CTRNモデルは、Quasi Recurrent Neural Network（QRNN）を拡張し、質問と回答の系列間で共有・相互に適用する時間的ゲート（LTC）機構を導入した。
• 時間的ゲートは1次元畳み込み層を用いて学習され、その後両方の系列に適用される。これにより、各系列が相手の記憶構成性に影響を与えることが可能になる。
• QRNNの計算効率を維持しつつ、ゲートレベルでペアワイズの相互作用を導入することで、表現が相手が何を記憶しているか、あるいは忘却しているかを認識できるようにする。
• 共有ゲートメカニズムを用い、相手の系列の文脈に基づいて動的に隠れ状態をモodulateすることで、意味的整合性を強化する。
• 最終的な表現は、ゲーティングされた逐次的合成によって形成され、最終スコアは最終隠れ状態を連結した上で全結合層を用いて計算される。
• 同じゲートパラメータを両方の系列で再利用することで、追加のパラメータコストを回避し、効率性を確保している。

実験結果

リサーチクエスチョン

• RQ1 質問と回答の系列間で時間的ゲートを共同で学習することで、QAランク付けのための表現品質が向上するか？
• RQ2 ペアワイズの時間的ゲーティングは、否定や対比（例：'beginner' と 'advanced research'）のような微妙な意味的依存関係をよりよく捉えるか？
• RQ3 CTRNモデルは、LSTM、QRNN、CNNベースのモデルといった強力なベースラインと比較して、多様なQAベンチマークで性能と効率の面でどのように差をつけるか？
• RQ4 LTC機構は正則化効果を提供し、特に小さなデータセットにおいて一般化性能を向上させるか？

主な発見

• CTRNは2つのコミュニティベースのQAデータセットで最先端の性能を達成し、HD-LSTM や MP-CNN といった強力なベースラインを上回った。
• TrecQAデータセットでは、TRAIN-ALL設定でMAPが0.7712、MRRが0.8384を達成し、以前の最良モデル（HeとLin, 2016）よりMRRで1.5%向上した。
• Yahoo QAデータセットでは、ベースラインのQRNNに比べてP@1が2.5%向上したが、MRRはほぼ同等を維持しており、トップ1ランク付け性能の向上が示された。
• CTRNは、バニラLSTMの約4倍、AP-BiLSTMの約8倍の高速性を示した。QRNNに比べて1エポックあたり追加で約10秒しかかかっていない。
• LTC機構は正則化効果を提供し、QRNNが過学習を起こす可能性のある小さなデータセットでも、CTRNは良好な一般化性能を示した。
• QatarLivingデータセットでは、複雑なAI-CNNモデルを上回り、P@1が0.788、MAPが0.794を達成した。表5では最高値が太字で示されている。