[論文レビュー] Dual Ask-Answer Network for Machine Reading Comprehension

Hang Xiao, Feng Wang+2 more|arXiv (Cornell University)|Sep 6, 2018

Topic Modeling参考文献 4被引用数 15

ひとこと要約

本稿では、文脈、質問、回答の間のクロスモーダル相互作用をモデル化するための階層的アテンションを用い、アーキテクチャの共有可能性を活用して質問応答（QA）と質問生成（QG）を同時に学習する二方向のニューラルシーケンス変換モデル、Dual Ask-Answer Network（DAANet）を提案する。DAANetは、4つの公開されたMRCデータセットにおいて最先端の性能を達成し、モノタスク学習モデルおよび先行の共同学習モデルを上回る性能をQAおよびQGの両タスクで示した。

ABSTRACT

There are three modalities in the reading comprehension setting: question, answer and context. The task of question answering or question generation aims to infer an answer or a question when given the counterpart based on context. We present a novel two-way neural sequence transduction model that connects three modalities, allowing it to learn two tasks simultaneously and mutually benefit one another. During training, the model receives question-context-answer triplets as input and captures the cross-modal interaction via a hierarchical attention process. Unlike previous joint learning paradigms that leverage the duality of question generation and question answering at data level, we solve such dual tasks at the architecture level by mirroring the network structure and partially sharing components at different layers. This enables the knowledge to be transferred from one task to another, helping the model to find a general representation for each modality. The evaluation on four public datasets shows that our dual-learning model outperforms the mono-learning counterpart as well as the state-of-the-art joint models on both question answering and question generation tasks.

研究の動機と目的

• 機械的リーディングコンprehensionにおけるモノタスクモデルの限界を解消するため、質問応答と質問生成を共同で学習すること。
• データや損失関数のレベルではなく、モデルアーキテクチャのレベルでQAとQGの双対性を活用すること。
• 対称的かつミラー構造を持つネットワークを用いてQAとQGタスク間でコンponentを共有することで、一般化性能と表現学習を向上させること。
• アーキテクチャの共有によるタスク間知識移転が、QAおよびQGの両タスクの性能向上に寄与することを実証すること。
• スパンベースの答えを仮定しない同一のモデルアーキテクチャを用いて、答え生成と質問生成の両方をサポートする統合フレームワークを提供すること。

提案手法

• モデルは、質問応答と質問生成タスク間で共通のコンponentを有する対称的かつ二方向のアーキテクチャを採用している。
• 文脈、質問、回答の間の相互作用を複数のレベルで捉える階層的アテンション機構を採用している。
• ネットワークは4層構造（埋め込み層、符号化層、アテンション層、出力層）で構成され、文脈、質問、回答のための共有符号化器を有する。
• OOV（語彙外語）語の処理と生成品質の向上のため、ポインタジェネレータネットワークをタスク間で共有している。
• 学習段階では、質問-文脈-回答の三つ組みを入力とし、共有損失関数を用いてQAおよびQGタスクを同時に学習する。
• 推論段階では、文脈と相手モodal（例：質問と文脈が与えられたもとで答えを生成）に基づき、自己回帰的に答えまたは質問を生成する。

実験結果

リサーチクエスチョン

• RQ1 質問応答と質問生成の間でアーキテクチャを共有することで、両タスクの性能向上が達成できるか？
• RQ2 対称的かつ共有アーキテクチャを用いたQAとQGの共同学習は、モノタスク学習やデータレベルの共同学習よりも一般化性能に優れるか？
• RQ3 階層的アテンションは、文脈、質問、回答の間のクロスモーダル相互作用を効果的にモデル化できるか？
• RQ4 スパンベースの答えを仮定しない状態でも、モデルは流暢で正確な質問と答えを生成できるか？
• RQ5 アーキテクチャレベルでの二重学習パラダイムは、データレベルや損失レベルの共同学習よりも、知識移転をより効果的に実現できるか？

主な発見

• SQuADデータセットでは、F1スコアが37.28に達し、モノタスクベースラインおよび最先端の共同モデルを上回った。
• SQuADデータセットでは、モノタスクモデル比で10.46ポイント、最良の先行共同モデル比で5.43ポイントのF1スコア向上を達成した。
• NewsQAデータセットでは、F1スコアが43.85に達し、次に優れたモデルより4.52ポイント顕著に上回った。
• アブレーションスタディの結果、共有コンponent（例：非共有の質問/回答符号化器、コピーメカニズムなし）を削除すると性能が著しく低下し、アーキテクチャ共有の重要性が裏付けられた。
• ケーススタディでは、ゴールの答えが与えられた状態でも、DAANetはモノタスクモデルよりもより正確で流暢な質問と答えを生成していることが示された。
• QAタスクでは優れた性能を示したが、QGスコアはアライメントベースの指標においてQAより低く、QGが依然としてより困難なタスクであることが示唆されたが、DAANetは共同モデルの中で最高のQG成績を達成した。