[論文レビュー] Full-Time Supervision based Bidirectional RNN for Factoid Question Answering

Dong Xu, Wu-Jun Li|arXiv (Cornell University)|Jun 19, 2016

Topic Modeling参考文献 8被引用数 5

ひとこと要約

本論文は、プーリング操作に依存せず、各時刻ステップで損失計算を適用するフルタイム監視に基づく双方向RNN（FTS-BRNN）という、ファクトイドQAのための新しい深層学習モデルを提案する。GRUユニットとエンドツーエンド学習を活用することで、FTS-BRNNはファクトイドQAベンチマークでSOTAの正確度89.8%（InnerP）および93.1%（LR）を達成し、QA-LSTM や QANTA といった先行手法を上回った。

ABSTRACT

Recently, bidirectional recurrent neural network (BRNN) has been widely used for question answering (QA) tasks with promising performance. However, most existing BRNN models extract the information of questions and answers by directly using a pooling operation to generate the representation for loss or similarity calculation. Hence, these existing models don't put supervision (loss or similarity calculation) at every time step, which will lose some useful information. In this paper, we propose a novel BRNN model called full-time supervision based BRNN (FTS-BRNN), which can put supervision at every time step. Experiments on the factoid QA task show that our FTS-BRNN can outperform other baselines to achieve the state-of-the-art accuracy.

研究の動機と目的

• プーリング後にのみ監視を適用する従来のBRNNモデルが持つ制限、すなわち時系列情報の損失を是正すること。
• 全時刻ステップにわたって損失を適用するフルタイム監視が、表現学習とモデル性能を向上させることを検証すること。
• QAの文脈における双方向RNNにおいて、LSTMと比較してGRUが優れているかどうかを評価すること。
• エンドツーエンドで学習可能なアーキテクチャにより、ファクトイドQAタスクでSOTAの性能を達成すること。

提案手法

• プーリング処理の後にのみ損失を計算するのではなく、双方向RNNの各時刻ステップで損失を計算するフルタイム監視メカニズムを提案する。
• 複雑さを軽減し、学習効率を向上させるために、BRNNの隠れユニットとしてゲート付き再帰ユニット（GRUs）を採用する。
• 前向きおよび後向きの隠れ状態を連結し、類似度計算用の共有空間に投影する出力層を導入する。
• 回答選択のための2つの予測ヘッドを採用：1つは内積を使用し、もう1つはロジスティック回帰（LR）を使用する。
• 全時刻ステップにわたる監視を統合するための新規損失関数（式2）を適用し、シーケンス全体にわたり勾配が流れ込むようにする。
• 重み行列および隠れ状態に一様初期化を適用し、標準的なXavierスタイルの初期化スキームを採用する。

実験結果

リサーチクエスチョン

• RQ1 プーリングベースの監視と比較して、BRNNにおける全時刻ステップにわたる監視が、ファクトイドQAの性能向上に寄与するか？
• RQ2 フルタイム監視されたファクトイドQAの文脈において、GRUベースのBRNNがLSTMベースのBRNNを上回る性能を発揮できるか？
• RQ3 提案されたFTS-BRNNモデルが、標準的なファクトイドQAベンチマークでSOTAの正確度を達成できるか？
• RQ4 出力層の導入が、フルタイム監視メカニズムの性能に与える影響は何か？

主な発見

• 出力層を備えたFTS-BRNNは、内積法を用いる場合89.8%、ロジスティック回帰（LR）を用いる場合93.1%の正確度を達成し、すべてのベースラインを上回った。
• アブレーションスタディの結果、フルタイム監視が性能向上に顕著に寄与することが確認された：フルタイム監視を適用したFTS-BRNN-sは89.2%（InnerP）および93.0%（LR）を達成したが、プーリング損失を用いた場合では77.0%および83.5%にとどまった。
• 出力層は極めて重要である：出力層を削除すると性能が著しく低下し、内積法では28.7%、ロジスティック回帰では85.5%にまで低下した。
• GRUはLSTMを上回った：FTS-BRNNフレームワークにおいて、GRUは89.8%（InnerP）および93.1%（LR）を達成したが、LSTMでは86.2%および89.5%にとどまった。
• すべてのRNNベースのモデル（FTS-BRNNを含む）は、再帰的ニューラルネットワークベースのQANTAモデル（63.0%（InnerP）および65.8%（LR））を上回った。
• 提案手法はファクトイドQAタスクでSOTAの性能を達成し、78.7%（InnerP）および86.9%（LR）を達成したQA-LSTMでさえも上回った。