[論文レビュー] Multi-Task Learning for Machine Reading Comprehension.

Yichong Xu, Xiaodong Liu+3 more|arXiv (Cornell University)|Sep 18, 2018

Topic Modeling参考文献 14被引用数 11

ひとこと要約

本論文は、多様なドメインからの複数のデータセットを統合して、機械的読解（MRC）モデルを共同で学習するマルチタスク学習フレームワークを提案する。外部ドメインのデータを活用することで、強固で汎用的な文脈表現を学習する。このアプローチは、SQuAD、MS MARCO、NewsQA、その他のベンチマークにおいて、最先端のモデルよりも顕著な性能向上を達成しており、単語埋め込みや言語モデルなどの既存の事前学習表現と直交的な改善を示している。

ABSTRACT

We propose a multi-task learning framework to jointly train a Machine Reading Comprehension (MRC) model on multiple datasets across different domains. Key to the proposed method is to learn robust and general contextual representations with the help of out-domain data in a multi-task framework. Empirical study shows that the proposed approach is orthogonal to the existing pre-trained representation models, such as word embedding and language models. Experiments on the Stanford Question Answering Dataset (SQuAD), the Microsoft MAchine Reading COmprehension Dataset (MS MARCO), NewsQA and other datasets show that our multi-task learning approach achieves significant improvement over state-of-the-art models in most MRC tasks.

研究の動機と目的

• 異なるドメインにまたがる機械的読解モデルの一般化および耐性を向上させること。
• 外部ドメインの訓練データがMRCにおける文脈表現学習を向上させることを調査すること。
• 複数のMRCデータセットで同時に性能を最適化するマルチタスク学習フレームワークを開発すること。
• マルチタスク学習と既存の事前学習表現モデル（例：単語埋め込みや言語モデル）との相性および補完的利点を評価すること。
• 複数のMRCベンチマークで共同学習により最先端の性能を達成すること。

提案手法

• フレームワークは、SQuAD、MS MARCO、NewsQAを含む、異なるドメインからの複数のデータセットを統合して、1つのMRCモデルを共同で学習する。
• 訓練中に外部ドメインのデータを活用し、より強固で汎用的な文脈表現を学習する。
• この手法は、単語埋め込みや言語モデルなどの既存の事前学習表現モデルと直交的であるように設計されている。
• ドメイン固有の特徴と汎用的特徴のバランスを取るために、エンドツーエンドで学習される共有部とタスク固有のコンponentsを備えている。
• マルチタスクの目的関数は、すべてのデータセットからの損失信号を統合し、複数ドメインにまたがる理解力を同時に最適化する。
• アーキテクチャにより、高リソースドメインからの知識の低リソースまたは外部ドメイン設定への転送が可能になる。

実験結果

リサーチクエスチョン

• RQ1 異なるドメインからの複数のMRCデータセットで共同学習することで、モデルの一般化が向上するか？
• RQ2 外部ドメインのデータを組み込むことで、MRCモデルにおける文脈表現の質が向上するか？
• RQ3 パフォーマンスと耐性の観点から、マルチタスク学習は個々のデータセットでの微調整と比べてどのように異なるか？
• RQ4 提案手法は、既存の事前学習表現モデルとどれほど相性が良く、補完的利点をもたらすか？
• RQ5 マルチタスクフレームワークは、多様なMRCベンチマークで最先端の結果を達成できるか？

主な発見

• 提案されたマルチタスク学習アプローチは、SQuAD、MS MARCO、NewsQAにおいて、最先端のモデルよりも顕著な性能向上を達成した。
• 単語埋め込みや言語モデルなどの既存の事前学習表現モデルと組み合わせた場合、直交的な向上効果を示した。
• 外部ドメインのデータは、MRCモデルにおける強固で汎用的な文脈表現の学習に有意義に寄与した。
• ドメイン固有の適応を必要とせず、多様なドメインにまたがるモデルの一般化を向上させた。
• 実験結果から、複数のデータセットで一貫した向上が確認され、共同学習の有効性が示された。
• 低リソースまたは外部ドメインのデータセットでも、このアプローチは有効であったため、強力な転送能力を示した。