[論文レビュー] Question Answering through Transfer Learning from Large Fine-grained Supervision Data

Sewon Min, Minjoon Seo+1 more|arXiv (Cornell University)|Feb 7, 2017

Topic Modeling参考文献 37被引用数 18

ひとこと要約

この論文は、大規模なスパン監視付き質問・回答（QA）データセット（SQuAD）からの転移学習が、文単位のQAタスクのパフォーマンスを顕著に向上させることを示している。SQuADで事前学習されたBiDAFモデルを微調整することで、WikiQA（+8.0%の向上）、SemEval-2016 Task 3A（+1.0%）で最先端の結果を達成した。これは、粗い監視に比べて、より細かい監視が語彙的および構文的特徴の学習を促進することを示している。

ABSTRACT

We show that the task of question answering (QA) can significantly benefit from the transfer learning of models trained on a different large, fine-grained QA dataset. We achieve the state of the art in two well-studied QA datasets, WikiQA and SemEval-2016 (Task 3A), through a basic transfer learning technique from SQuAD. For WikiQA, our model outperforms the previous best model by more than 8%. We demonstrate that finer supervision provides better guidance for learning lexical and syntactic information than coarser supervision, through quantitative results and visual analysis. We also show that a similar transfer learning procedure achieves the state of the art on an entailment task.

研究の動機と目的

• 大規模でスパン監視付きのQAデータセット（SQuAD）からの転移学習が、粗い監視の文単位QAタスクのパフォーマンスを向上させるかどうかを調査すること。
• ソースデータセットにおける細かい監視が、他のデータセットの粗い監視に比べて、語彙的および構文的特徴の学習に優れた誘導的バイアスを提供するかどうかを評価すること。
• 転移学習アプローチをQA以外のタスク、具体的にはテキスト帰属関係（RTE）に拡張し、その一般応用性を評価すること。
• SQuAD、SQuAD-T、SNLIを組み合わせたさまざまな事前学習手法の、下流タスクにおける有効性を比較すること。

提案手法

• SQuAD（10万件の学習例を有するスパンレベルQAデータセット）でBiDAFモデルを事前学習する。
• 目標となる文単位QAデータセット（WikiQA および SemEval-2016 Task 3A）で、事前学習済みモデルを微調整する。
• ターゲットタスクの監視フォーマットと文脈構造に適合させるために、SQuADの変更版（SQuAD-T）を作成する。
• 注意マップとスパarsity分析（式2を用いて）を用いて、モデルが質問語と文脈語をどの程度正確に一致させているかを可視化・定量化する。
• 同じ転移学習パイプラインをSICKテキスト帰属関係データセットに適用し、SQuADおよび/またはSNLIで事前学習し、SICKで微調整する。
• 標準指標（QAタスクではMAP、RTEでは正答率）を用いて性能を評価し、事前学習有無のモデルを比較する。

実験結果

リサーチクエスチョン

• RQ1 SQuADのような大規模でスパン監視付きのQAデータセットからの転移学習が、文単位QAタスクのパフォーマンスを顕著に向上させることができるか？
• RQ2 SQuADにおける細かい監視が、他のデータセットの粗い監視に比べて、構文的および語彙的特徴の学習をより効果的に促進するか？
• RQ3 スパンレベルQAで事前学習したモデルは、テキスト帰属関係（RTE）のような異なるNLPタスクに効果的に一般化できるか？
• RQ4 ソースデータセットの規模と監視の質が、転移パフォーマンスにどのように作用し合うか？

主な発見

• SQuADで事前学習したモデルは、WikiQAで79.90のMAPを達成し、以前の最良モデルを8%以上上回った。
• SemEval-2016 Task 3Aでは、以前の最先端モデルより1%の向上を達成した。
• SQuADで事前学習したモデルは、SQuAD-Tで事前学習したモデル（0.84）に比べて、注意マップのスパarsityが著しく低く（0.56）なっており、より正確な単語レベルの一致を示している。
• 可視化分析から、SQuADで事前学習したモデルは、'airbus'と'aircraft'や'aerospace'の間の意味的対応をより良く捉えていた。
• SICK帰属関係データセットでは、SQuAD+SNLIで事前学習したモデルが88.22%の正答率を達成し、以前の最先端モデルを2%上回った。
• SQuAD+SNLIで事前学習したモデルは、SNLI単独での事前学習より優れた性能を示し、スケールと細かい監視の両方がパフォーマンス向上に寄与していることを示した。