[論文レビュー] Supervised and Unsupervised Transfer Learning for Question Answering

Yu-An Chung, Hung-yi Lee+1 more|arXiv (Cornell University)|Nov 14, 2017

Multimodal Machine Learning Applications参考文献 39被引用数 11

ひとこと要約

本稿では、教師ありおよび教師なし微調整を用いて、MovieQAからの転移学習が、TOEFLリスニング理解およびMCTestの2つのターゲット質問応答データセットにおける性能を顕著に向上させることを示している。QACNNモデルは、TOEFLで先行研究を7%上回る最先端の結果を達成した。また、ターゲットラベルが存在しない状況下でも、反復的自己ラベル付与による教師なし転移学習により、依然として顕著な性能向上が得られた。

ABSTRACT

Although transfer learning has been shown to be successful for tasks like object and speech recognition, its applicability to question answering (QA) has yet to be well-studied. In this paper, we conduct extensive experiments to investigate the transferability of knowledge learned from a source QA dataset to a target dataset using two QA models. The performance of both models on a TOEFL listening comprehension test (Tseng et al., 2016) and MCTest (Richardson et al., 2013) is significantly improved via a simple transfer learning technique from MovieQA (Tapaswi et al., 2016). In particular, one of the models achieves the state-of-the-art on all target datasets; for the TOEFL listening comprehension test, it outperforms the previous best model by 7%. Finally, we show that transfer learning is helpful even in unsupervised scenarios when correct answers for target QA dataset examples are not available.

研究の動機と目的

• ソースQAデータセット（MovieQA）からの知識が、大規模な再トレーニングを伴わずに、ターゲットQAデータセットの性能を向上させられるかどうかを調査すること。
• ラベル付きデータが限られる低リソース環境における転移学習の有効性を評価すること。
• ターゲット例に対する正解ラベルが入手不可能な状況での教師なし転移学習の有効性を検討すること。
• 転移学習が、異なる質問タイプにおけるモデルの注目メカニズムおよび推論プロセスに与える影響を分析すること。
• 教師あり微調整にとどまらず、多様なQAタスクおよびデータセットに一般化する転移学習の有効性を検証すること。

提案手法

• MovieQAデータセット上で、QACNNおよびMemN2Nの2つのQAモデルを事前学習し、一般的な質問応答表現を学習する。
• 真値ラベルを用いた教師あり転移学習により、ターゲットデータセット（TOEFLおよびMCTest）上で事前学習済みモデルを微調整する。
• 反復的自己ラベル付与メカニズムを用いて、ターゲットデータに対してモデルが偽ラベルを生成する教師なし転移学習を実装する。
• 教師なし微調整中に、語彙埋め込み、CNN層、全結合層を含むすべてのモデルパラメータを更新する。
• トレーニングエポックにわたる注目マップの可視化により、モデルの関連するストーリー内容への注目がどのように変化するかを分析する。
• 2段階のトレーニングプロセスを採用する：MovieQAでの事前学習の後、真値ラベルにアクセスできない状態でターゲットデータセット上で反復的自己ラベル付けを実施する。

実験結果

リサーチクエスチョン

• RQ1 MovieQAからの転移学習が、TOEFL や MCTest のような低リソースQAデータセットにおける性能を顕著に向上させられるか？
• RQ2 ターゲットデータセットに真値の答えが存在しない状況下で、教師なし転移学習はどの程度有効か？
• RQ3 転移学習は多様な質問タイプにわたって性能を向上させるのか、それとも特定の質問カテゴリに限定されるのか？
• RQ4 教師なし転移学習の過程で、モデルの注目メカニズムはどのように変化するか？また、関連するストーリー内容と整合性を示すか？
• RQ5 教師なし転移学習における反復的自己ラベル付けが、教師あり微調整と同等の性能向上をもたらすか？

主な発見

• MovieQAからの教師あり転移学習により、TOEFLおよびMCTestの両方で性能が向上した。特に、1つのモデルがすべてのターゲットデータセットで最先端の結果を達成した。
• TOEFLリスニング理解テストでは、最良のモデルが前回の最先端手法を7%上回り、顕著な性能向上を示した。
• 真値ラベルにアクセスできない状況下でも、反復的自己ラベル付けを用いた教師なし転移学習により、MC500では最大6%、TOEFL-ASRでは最大5%の性能向上が得られた。
• 注目可視化の結果、モデルはトレーニングエポックに伴い、「class project」などの関連するストーリー表現に段階的に注目を向けるようになり、監視なしでも有効な学習が行われていることが示された。
• 教師なし転移学習の性能は教師あり転移学習に比べて一貫して劣るが、初期から訓練するよりも著しく優れていた。
• 転移学習の有効性は特定の質問タイプに限定されず、データセット内の多様な質問カテゴリにわたり、一貫した向上が観察された。