[論文レビュー] Neural Skill Transfer from Supervised Language Tasks to Reading Comprehension

Todor Mihaylov, Zornitsa Kozareva+1 more|arXiv (Cornell University)|Nov 10, 2017

Topic Modeling参考文献 34被引用数 5

ひとこと要約

本稿では、名前付きエンティティ抽出、テキスト帰属関係、並び替え検出、質問タイプ分類といった、事前に訓練された教師あり言語タスクからの知識を、単純な質問応答モデルに注入することで、読解理解性能を向上させるニューラルスキル転送手法を提案する。本手法は、トークン単位のラベル監視とスキルエンコーダーのファインチューニングを活用することで、特に初期学習段階および限られたデータでの学習において顕著な性能向上を達成し、エンドツーエンドで学習するベースラインモデルを上回る。

ABSTRACT

Reading comprehension is a challenging task in natural language processing and requires a set of skills to be solved. While current approaches focus on solving the task as a whole, in this paper, we propose to use a neural network `skill' transfer approach. We transfer knowledge from several lower-level language tasks (skills) including textual entailment, named entity recognition, paraphrase detection and question type classification into the reading comprehension model. We conduct an empirical evaluation and show that transferring language skill knowledge leads to significant improvements for the task with much fewer steps compared to the baseline model. We also show that the skill transfer approach is effective even with small amounts of training data. Another finding of this work is that using token-wise deep label supervision for text classification improves the performance of transfer learning.

研究の動機と目的

• エンドツーエンドで学習するのではなく、低レベルの教師あり言語タスクからの知識を転送することで、読解理解性能を向上させること。
• 名前付きエンティティ抽出（NER）、テキスト帰属関係、質問タイプ分類といった事前学習済み「スキル」が、単純なQAモデルに与える影響を調査すること。
• 特に小規模な学習サブセット（2%、5%、10%、25%）を用いた場合の、スキル転送が学習効率およびデータ効率に与える影響を評価すること。
• 質問応答の転移学習において、トークン単位のラベル監視と文単位の監視のどちらがより優れた性能をもたらすかを検討すること。
• 特定の言語スキルが読解理解にどのように寄与しているかを分析できるモジュラーで解釈可能なフレームワークを提供すること。

提案手法

• 名前付きエンティティ抽出（CoNLL 2012）、テキスト帰属関係（SNLI）、並び替え検出（PPDB）、質問タイプ分類（TREC）の4つの言語スキルのラベル付きデータセットに対して、個別にBi-LSTMエンコーダーを学習する。
• 各スキルタスクで学習されたコンテキストエンコーダーの重みを、単純な読解理解モデルにおけるコンテキストエンコーダーの初期化に再利用する。
• QAモデル全体のアーキテクチャを再訓練せずに、コンテキストエンコーダーの重みを共有することで、スキル表現を統合し、知識転送を実現する。
• テキスト分類タスクにおいて、トークン単位のラベル監視を適用し、各トークンの表現をラベル空間に射影し、合算することで文単位の予測を生成する。
• QA学習中にスキルエンコーダーの重みをファインチューニングすることで、ターゲットタスクに適応させる一方で、固定重みでの性能評価も行う。
• SQuAD開発セットを用いてF1および正確一致（EM）指標でモデルを評価し、全データおよび低データ学習環境を比較する。

実験結果

リサーチクエスチョン

• RQ1 複数の教師あり言語タスクからの知識転送は、標準ベースラインと比較して読解理解性能を向上させるか？
• RQ2 スキル転送は、特に初期学習段階において、学習ダイナミクスにどのように影響を与えるか？
• RQ3 学習データのわずかな割合（例：2%、5%）でのみ利用可能な場合、スキル転送はどの程度性能向上をもたらすか？
• RQ4 テキスト分類タスクにおけるトークン単位のラベル監視は、文単位の監視よりも優れた転送性能をもたらすか？
• RQ5 個々のスキル（NER、TE、PPDB、QC）の中で、読解理解の向上に最も寄与しているのはどれか？

主な発見

• 全4スキルタスクをファインチューニングしたモデルは、SQuAD開発セットでF1スコア60.92、EM 48.70を達成し、スキルなしのベースラインモデル（F1: 59.41、EM: 46.90）を上回った。
• たとえ学習データが2%に制限されても、スキル転送モデルは1,000ステップ以内に、ベースラインモデルやランダム重みモデルよりも優れた性能に到達した。
• 質問タイプ分類におけるトークン単位のラベル監視は、文単位の監視を顕著に上回り、特に初期学習段階で顕著な差が見られた（図4参照）。
• アブレーションスタディの結果、任意の1つのスキルを除去すると性能が低下し、特にNERを除去した場合に最大の低下（EMが48.70から48.52に低下）が観察され、NERの強力な寄与が示された。
• 全スキルを統合し、重みをファインチューニングしたモデルが最高の性能を達成した。これは、複数スキルの共同転送が効果的かつ相乗効果をもたらすことを示している。
• 初期学習段階において一貫した向上が観察された。これは、スキル転送が学習を加速させ、データ効率を向上させることを示唆している。