[論文レビュー] Exploring Question Understanding and Adaptation in Neural-Network-Based Question Answering

Junbei Zhang, Xiaodan Zhu+4 more|arXiv (Cornell University)|Mar 14, 2017

Topic Modeling参考文献 20被引用数 39

ひとこと要約

この論文は、構文解析と質問タイプの適応を統合することで、質問応答の性能を向上させるニューラルネットワークフレームワークを提案する。木構造LSTMを用いて質問の構文をモデル化し、質問タイプ間で柔軟な適応を実現するメカニズムを採用し、SQuAD開発セットで69.10%のEMおよび78.38%のF1を達成。これは強力なベースラインおよび当時における最先端の単一モデル性能を上回る。

ABSTRACT

The last several years have seen intensive interest in exploring neural-network-based models for machine comprehension (MC) and question answering (QA). In this paper, we approach the problems by closely modelling questions in a neural network framework. We first introduce syntactic information to help encode questions. We then view and model different types of questions and the information shared among them as an adaptation task and proposed adaptation models for them. On the Stanford Question Answering Dataset (SQuAD), we show that these approaches can help attain better results over a competitive baseline.

研究の動機と目的

• 質問の意味理解を向上させるために、質問の符号化に構文的構造を統合すること。
• ニューラル適応フレームワークを用いて、さまざまな質問タイプ（例：何、なぜ、いつ）を共有されたが異なるタスクとしてモデル化すること。
• 質問タイプ間で共有される表現を学習することで、答えの予測誤り率を低減し、同時にタイプ固有の差異を保持すること。
• 構文的および適応ベースのモデリングがSQuADベンチマークで測定可能な性能向上をもたらすことを示すこと。

提案手法

• 質問の構文解析木を符号化するために木構造LSTM（TreeLSTM）を用い、線形順序を超えた長距離依存関係を捉える。
• 「何」「なぜ」「いつ」などの質問カテゴリを表す明示的な質問タイプ埋め込み（Tコード）を導入する。
• 共有ベースモデルを各質問タイプごとに微調整する柔軟な適応メカニズムを採用し、K個の隠れタイプを持つ学習可能な適応行列を用いる。
• 文字レベルCNNと事前学習済みGloVe埋め込みを組み合わせた多段階の単語表現を用いて、頑健な単語符号化を実現する。
• 質問とドキュメントの両方を双向性GRUで符号化し、その後、質問とドキュメントの表現を一致させるために双向性アテンション機構を適用する。
• 正則化のために、エンコーダーおよび集約層にドロップアウト（0.5）を適用し、過学習を防止する。

実験結果

リサーチクエスチョン

• RQ1 構文解析はニューラル質問応答モデルにおける質問表現の向上に寄与するか？
• RQ2 独立または共有タスクとして扱うのと比較して、質問タイプを適応タスクとしてモデル化することは性能向上に寄与するか？
• RQ3 適応された質問タイプの数（K）がSQuADにおけるモデル性能に与える影響は何か？
• RQ4 柔軟な適応メカニズムは、共有知識とタイプ固有の差異の両立を効果的に実現できるか？

主な発見

• K=100の場合、提案モデルはSQuAD開発セットで69.10%のEMおよび78.38%のF1スコアを達成し、ベースライン（68.00% EM、77.36% F1）を上回った。
• 明示的な質問タイプ埋め込み（Tコード）の追加により、性能がわずかに向上し、68.16% EMおよび77.58% F1を達成した。
• 構文符号化にTreeLSTMを用いることで、さらに性能が向上し、68.29% EMおよび77.67% F1を達成した。
• K=20の柔軟な適応メカニズムでは68.73% EMおよび77.74% F1を達成し、表1に報告された結果と一致した。
• 「いつ」質問に対して最も高い性能（最高のEM/F1）を示した一方、最も頻度が低く、最も困難であった「なぜ」質問に対しては最も低い性能を示した。
• 予測の14.89%がF1スコア0%であったため、将来的な誤り低減の主要なターゲットであることが示された。