[論文レビュー] A Co-Matching Model for Multi-choice Reading Comprehension

Shuohang Wang, Mo Yu+2 more|arXiv (Cornell University)|Jun 11, 2018

Topic Modeling参考文献 16被引用数 26

ひとこと要約

本稿では、二重のアテンション機構を用いて、質問と候補となる答えの両方と、同時に文書を一致させる共同一致モデル（co-matching model）を提案する。文書、質問、答えの間の同時的な相互作用をエンコードする共同一致状態を構築し、階層的LSTMを用いて文脈を統合することで、RACEデータセットにおいて最先端の性能を達成し、従来の手法より3ポイント向上した。

ABSTRACT

Multi-choice reading comprehension is a challenging task, which involves the matching between a passage and a question-answer pair. This paper proposes a new co-matching approach to this problem, which jointly models whether a passage can match both a question and a candidate answer. Experimental results on the RACE dataset demonstrate that our approach achieves state-of-the-art performance.

研究の動機と目的

• 抽出的マッチングをはるかに超える推論を要する多択読解の課題に対処すること。
• 文書-質問や文書-答えのペairwiseマッチングに起因する、質問と答えの間の相互作用情報の損失を克服すること。
• 複数の文にまたがる推論を要する複雑な非抽出的質問を含む、RACEデータセットにおける性能を向上させること。
• 質問と候補となる答えの両方が文書文脈に対してどのように関連しているかを、統合的かつ文脈に配慮した形でモデル化すること。

提案手法

• モデルは、各文書位置に対して、質問からのアテンション重み付きベクトルと、候補答えからのアテンション重み付きベクトルを別々に計算する。
• 文書-質問の一致と文書-答えの一致の両方の一致表現を構築し、各文書位置に共同一致状態を形成する。
• 共通一致状態の系列を対象に階層的LSTMを適用し、語レベルから文レベル、文書レベルへと情報を統合する。
• 文書に対して質問と答えの間の相互作用を明示的にモデル化する共同一致メカニズムを採用し、構造的情報を損なう可能性のある連結処理を回避する。
• 最終的な表現を用いて、候補となる答えのスコアを計算し、最もスコアが高い候補を採用する。
• モデルは、候補となる答えのクロスエントロピー損失関数を用いて、エンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 文書-質問および文書-答えのマッチングを同時にモデル化することで、多択読解タスクの性能が向上するか？
• RQ2 質問と答えの間の相互作用を保持する共同一致（co-matching）は、逐次的または連結的なマッチング戦略と比べてどのように差がつくか？
• RQ3 共通一致状態の階層的統合は、長く複雑な文書における推論をどの程度向上させるか？
• RQ4 本モデルは、代名詞解決、推論、文の正当化といった異なる質問タイプに一般化できるか？
• RQ5 全体の性能向上における共同一致メカニズムと階層的モデリングの貢献度はそれぞれどの程度か？

主な発見

• 提案されたHier-Co-Matchingモデルは、RACEデータセットにおいて最先端の性能を達成し、前回の最先端手法より3ポイント向上した。
• アブレーションスタディの結果、共同一致モジュールを単純な質問と答えの連結に置き換えた場合、性能が4ポイント低下することが確認され、その重要性が裏付けられた。
• 共同一致状態の階層的LSTMを、文書全体に適用する標準的な2層LSTMに置き換えた場合、2ポイントの性能低下が観察され、階層的文脈統合の価値が示された。
• モデルはさまざまな質問タイプにおいて一貫した性能を示し、『真』の文の正当化質問では51%、『否定』の文の正当化質問では52%の正答率を達成した。
• 代名詞解決の質問では49.8%の正答率を達成し、ベースライン手法（47.9%）を上回り、コアファレンスの処理が改善されたことが示された。