[論文レビュー] Dual Multi-head Co-attention for Multi-choice Reading Comprehension.

Pengfei Zhu, Hai Zhao+1 more|arXiv (Cornell University)|Jan 26, 2020

Topic Modeling参考文献 39被引用数 29

ひとこと要約

本稿では、複数選択読解における本文、質問、選択肢の間の相互作用をモデル化するシンプルで効果的な注目メカニズムであるDual Multi-head Co-attention (DUMA) を提案する。3つのコンポonent間で直接的にマルチヘッド相互注目を適用することで、DUMAは事前学習された言語モデルを強化し、複雑なマッチングネットワークを用いずにDREAMおよびRACEベンチマークで最先端の結果を達成した。

ABSTRACT

Multi-choice Machine Reading Comprehension (MRC) requires model to decide the correct answer from a set of answer options when given a passage and a question. Thus in addition to a powerful pre-trained Language Model as encoder, multi-choice MRC especially relies on a matching network design which is supposed to effectively capture the relationship among the triplet of passage, question and answers. While the latest pre-trained Language Models have shown powerful enough even without the support from a matching network, and the latest matching network has been complicated enough, we thus propose a novel going-back-to-the-basic solution which straightforwardly models the MRC relationship as attention mechanism inside network. The proposed DUal Multi-head Co-Attention (DUMA) has been shown simple but effective and is capable of generally promoting pre-trained Language Models. Our proposed method is evaluated on two benchmark multi-choice MRC tasks, DREAM and RACE, showing that in terms of strong Language Models, DUMA may still boost the model to reach new state-of-the-art performance.

研究の動機と目的

• 複数選択読解における本文、質問、選択肢の間の効果的な相互作用モデリングの必要性に対処する。
• 複雑なマッチングネットワークの限界を克服し、よりシンプルなアプローチに立ち返ることで、注目ベースの手法を提案する。
• 軽量でありながら強力な注目メカニズムを通じて、強力な事前学習済み言語モデルの性能を向上させる。
• 複雑なアーキテクチャに比べて、単純な注目メカニズムが複数選択MRCで優れた性能を発揮することを示す。
• アーキテクチャの複雑化を避けながら、標準的な複数選択MRCベンチマークで最先端の結果を達成する。

提案手法

• 本文と質問、本文と選択肢の間の注目を同時にモデル化する二重マルチヘッド相互注目メカニズムを提案する。
• 各入力モodal（本文、質問、選択肢）内でマルチヘッド自己注目を適用し、表現を豊かにする。
• 本文と質問、および本文と各選択肢との間でクロス注目を用い、モダリティ間の関係を捉える。
• 相互注目層からの表現を集約し、各選択肢のための統合的で文脈に配慮した表現を生成する。
• DUMAモジュールを、BERTのような事前学習済み言語モデルのバックボーンに統合し、エンドツーエンドの学習を実現する。
• 選択肢のクロスエントロピー損失を用いた標準的なMRC目的関数でモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 複雑なマッチングネットワークに比べて、簡素化された注目ベースのメカニズムが複数選択読解で優れた性能を発揮できるか？
• RQ2 二重マルチヘッド相互注目メカニズムは、強力な事前学習済み言語モデルの性能をどの程度向上できるか？
• RQ3 本文、質問、選択肢の間で相互注目をモデル化することで、個別にモデル化するのと比べて、より良い整合性と推論が達成できるか？
• RQ4 軽量な注目メカニズムは、アーキテクチャの複雑さを伴わずに最先端の結果を達成できるか？
• RQ5 DUMAアプローチは、DREAMやRACEのような異なる複数選択MRCデータセットに一般化可能か？

主な発見

• DUMAはDREAM複数選択読解ベンチマークで最先端の性能を達成した。
• RACEデータセットでも性能が向上し、異なるMRCタスクにわたる強力な一般化能力を示した。
• アーキテクチャの大幅な見直しが不要なまま、強力な事前学習済み言語モデルの性能を一貫して向上させた。
• 複雑なマッチングネットワークに依存する従来手法よりもDUMAが優れており、よりシンプルな注目メカニズムの有効性を裏付けた。
• アブレーションスタディにより、二重相互注目設計が単一注目ベースラインに比べて顕著な性能向上をもたらすことが確認された。
• 強力な事前学習モデルでさえも有効であるため、DUMAがバックボーン単体が学習するものとは異なる重要な推論パターンを捉えていることが示された。