[論文レビュー] Dual Co-Matching Network for Multi-choice Reading Comprehension

Shuailiang Zhang, Hai Zhao+4 more|arXiv (Cornell University)|Jan 27, 2019

Topic Modeling参考文献 40被引用数 37

ひとこと要約

本論文は、Dual Co-Matching Network (DMN) を提案し、 passage、question、answer の双方向関係をゲーティング融合でモデル化して、RACE と ROCStories の最先端結果を達成し、RACE 全データセットでも人間の成績を上回る。

ABSTRACT

Multi-choice reading comprehension is a challenging task that requires complex reasoning procedure. Given passage and question, a correct answer need to be selected from a set of candidate answers. In this paper, we propose extbf{D}ual extbf{C}o- extbf{M}atching extbf{N}etwork ( extbf{DCMN}) which model the relationship among passage, question and answer bidirectionally. Different from existing approaches which only calculate question-aware or option-aware passage representation, we calculate passage-aware question representation and passage-aware answer representation at the same time. To demonstrate the effectiveness of our model, we evaluate our model on a large-scale multiple choice machine reading comprehension dataset (i.e. RACE). Experimental result show that our proposed model achieves new state-of-the-art results.

研究の動機と目的

• 多択 MRC の動機付けと、 passage、question、answer 間の全ペア関係をモデル化する必要性。
• P-Q、P-A、Q-A の相互作用を捉える双方向のコーメッチングフレームワークを提案。
• ゲーティング機構を組み込み、双方向表現を効果的に融合。
• 表現品質を高めるために BERT を文脈エンコーダとして活用。
• RACE および ROCStories データセットで最先端の性能を示す。

提案手法

• BERT を用いて passage、question、candidate answers をエンコードし、H^p、H^q、H^a を得る。
• 各ペア (P,Q)、(P,A)、(Q,A) について双方向のマッチングを計算し、S^p、S^a などを得る。注意 G^{xy} と式 (1) を使用。
• ゲーティング機構で双方向表現を融合し、Eq. (2) によって M^{p}、M^{a}、M^{p_a} を生成。
• M^{p_q}、M^{p_a}、M^{q_a} を結合して C を形成し、候補回答に対して softmax を用いて最終損失を Eq. (3) で計算。
• BertAdam 最適化器で訓練し、ドロップアウトと 10 エポックのファインチューニング; 最大系列長 512。

実験結果

リサーチクエスチョン

• RQ1 双方向の全ペアマッチングアプローチは、従来の片方向または部分ペアモデルと比べて多択 MRC の精度を向上させるか。
• RQ2 この設定での双方向表現のゲーティング融合は、単純な連結よりも性能を上げるか。
• RQ3 BERT のような強力なエンコーダを組み込むと、大規模 MRC ベンチマーク（RACE、ROCStories）の性能にどのように影響するか。

主な発見

モデル	RACE-M	RACE-H	RACE
DMN base	72.3	64.2	66.5
DMN large	77.6	70.1	72.3
DMN* large	79.5	71.8	74.1

• DMN は RACE および ROCStories のベンチマークで最先端を達成。
• 単一の DMN モデルが従来のベースラインを上回り、全データセットの RACE でも人間のTurkersを超える。
• 双方向の P-Q、P-A、Q-A の全ペアマッチングは、片方向のマッチングより有意な利得を生む（例: RACE で 1.5%）。
• ゲーティング融合は連結より良い結果をもたらす。
• BERT ベースのエンコーダは効果的に統合され、タスク全体で顕著な向上を達成。