[論文レビュー] Multi-task Learning with Sample Re-weighting for Machine Reading Comprehension

Yichong Xu, Xiaodong Liu+3 more|arXiv (Cornell University)|Sep 18, 2018

Topic Modeling参考文献 45被引用数 6

ひとこと要約

本論文は、機械読解（MRC）のためのマルチタスク学習フレームワークを提案し、サンプル再重み付けを組み合わせることで、多様なMRCタスクにおけるモデルの汎化性能を向上させる。補助ドメイン（例：NewsQA、MS MARCO）からのトレーニングサンプルに動的でデータ駆動の重みを割り当てることで、SQuADや他のベンチマークにおける性能が向上し、ELMo埋め込みを組み合わせた場合、NewsQAで正確一致（exact match）が13.4ポイント上回り、最先端の結果を達成した。

ABSTRACT

We propose a multi-task learning framework to learn a joint Machine Reading Comprehension (MRC) model that can be applied to a wide range of MRC tasks in different domains. Inspired by recent ideas of data selection in machine translation, we develop a novel sample re-weighting scheme to assign sample-specific weights to the loss. Empirical study shows that our approach can be applied to many existing MRC models. Combined with contextual representations from pre-trained language models (such as ELMo), we achieve new state-of-the-art results on a set of MRC benchmark datasets. We release our code at https://github.com/xycforgithub/MultiTask-MRC.

研究の動機と目的

• 多様でマルチドメインのトレーニングデータを活用することで、MRCモデルの汎化性能を向上させること。
• 有効なサンプル重み付けが行われないまま複数のMRCデータセットを統合した場合の性能の劣化という課題に対処すること。
• 補助タスクからのより情報量が多く、類似性の高いサンプルに高い重要度を割り当てる、柔軟で学習可能な再重み付けメカニズムを開発すること。
• マルチタスク学習にサンプル再重み付けを組み合わせることで、単一タスク学習や既存のMTLベースラインを上回ることを示すこと。
• 事前学習された言語モデルや複雑なデータ拡張に依存せずに、効率的かつエンドツーエンドで訓練可能なフレームワークを実現すること。

提案手法

• 共有エンコーダとタスク固有のヘッドを用いて、複数のMRCデータセット（例：SQuAD、NewsQA、MS MARCO）を同時に学習するマルチタスク学習フレームワークMT-SANを導入する。
• 言語モデルスコアと答えの長さの正規化を用いて、質問と答えの品質に基づき、サンプル固有の重みを計算する再重み付け方式を提案する。
• 正規化スコア（H′_Q と H′_A）を用いて、各質問-答えペアの情報量を推定し、スコアが高いほどターゲットタスクに対する関連性が大きいと判断する。
• これらの動的に計算されたサンプル重みで重み付けされたタスク固有の損失を組み合わせる損失関数を適用し、関連するサンプルに対する学習信号を強化する。
• 再重み付けプロセスをガイドするために、質問と答えの品質スコアを集約するためのCED′指標を導入する。
• 比較のためのミクスチャ比率ベースラインを導入し、補助タスクのトレーニングデータを固定のハイパーパrameter比でサンプリングする。

実験結果

リサーチクエスチョン

• RQ1 多様なMRCデータセットにまたがるマルチタスク学習は、ターゲットMRCタスクにおける汎化性能と性能向上を図ることができるか？
• RQ2 質問と答えの品質に基づくサンプル再重み付けは、固定ミクスチャ比率サンプリングと比較して、マルチタスクMRC学習でどのように性能を発揮するか？
• RQ3 提案された再重み付け方式は、比率ベースのサンプリングと比較してハイパーパrameterチューニングへの感受性を低減できるか？
• RQ4 文脈的埋め込み（例：ELMo）と組み合わせた場合、サンプル再重み付けを施したマルチタスクフレームワークは最先端の性能を達成できるか？
• RQ5 特に人間の性能と比較して、NewsQA や MS MARCO などのドメイン外データセットにおいて、モデルの性能はどの程度か？

主な発見

• 提案されたサンプル再重み付け手法は、ナードなデータ統合ベースラインと比較して、SQuAD+MARCOでEMとF1がそれぞれ0.6%絶対値向上し、全3データセットで最大1%向上した。
• NewsQAデータセットでは、正確一致（exact match）が59.9（モデル）対46.5（人間）で13.4ポイント上回り、F1は69.4（人間）対72.6（モデル）で3.2ポイント上回った。
• NewsQAおよびTriviaQAの両ベンチマークで最先端の性能を達成し、ドメインをまたがる強力な汎化性能を示した。
• ミクスチャ比率アプローチはハイパーパrameterの選択に極めて感受性が高く、最適なα=0.4から逸脱すると性能が約0.5%低下した。これは、頑健な再重み付けの必要性を示している。
• サンプル再重み付けはタスク不確実性重み付け（Kendall et al., 2018）を上回り、ハイパーパrameterのグリッドサーチの必要性を排除することで、学習の効率性を向上させた。
• 本手法はELMoのような事前学習埋め込みと直交的かつ補完的であり、両者を組み合わせることでさらなる性能向上が得られた。