[論文レビュー] Two-Stage Synthesis Networks for Transfer Learning in Machine Comprehension

David Golub, Po-Sen Huang+2 more|arXiv (Cornell University)|Jun 29, 2017

Topic Modeling参考文献 36被引用数 8

ひとこと要約

本稿では、機械理解におけるゼロショット転移学習のための2段階合成ネットワーク（SynNet）を提案する。未ラベルのターゲットドメインの段落から合成された質問・回答ペアを生成し、事前学習済みモデルを微調整する。まず、IOBタギングを用いた双方向LSTMで回答スパンを生成し、その後、段落と回答を条件として自然な質問を生成する。このアプローチにより、SQuADで学習されたモデルのみを用いても、NewsQAにおけるF1スコアが単一モデルで44.3%、アンサンブルで46.6%に向上し、7.6%のベースラインを著しく上回り、ドメイン内性能に近づいた。

ABSTRACT

We develop a technique for transfer learning in machine comprehension (MC) using a novel two-stage synthesis network (SynNet). Given a high-performing MC model in one domain, our technique aims to answer questions about documents in another domain, where we use no labeled data of question-answer pairs. Using the proposed SynNet with a pretrained model from the SQuAD dataset on the challenging NewsQA dataset, we achieve an F1 measure of 44.3% with a single model and 46.6% with an ensemble, approaching performance of in-domain models (F1 measure of 50.0%) and outperforming the out-of-domain baseline of 7.6%, without use of provided annotations.

研究の動機と目的

• ソースドメイン（例：SQuAD）からターゲットドメイン（例：NewsQA）への機械理解モデルの転移を、ラベル付き質問・回答ペアが一切ない状況で実現すること。
• 高品質な合成学習データを生成することで、高価な人為的アノテーションデータへの依存を低減すること。
• 回答と質問生成を2段階プロセスとしてモデル化することで、抽出型機械理解におけるゼロショット一般化性能を向上させること。
• コストのかかるアノテーションパイプラインが不要な新ドメイン（例：ニュース、サポートマニュアル）へのQAシステムの実用的導入を可能とすること。

提案手法

• 2段階のSynNetアーキテクチャ：まず、入力段落に対して双方向LSTMを用いてIOBタグを予測し、重要とされる回答スパンを同定する回答合成モジュール。
• 次に、段落トークンとIOB埋め込みを注意機構で用いた単方向LSTMを用いて、自然言語の質問を生成する質問合成モジュール。
• 複数の候補が存在しても、1つの段落に対して1つの回答スパンを生成することで、質問生成の焦点を保つ。
• 合成されたQAペアを用いて、ターゲットドメインで事前学習済みの機械理解モデル（例：BIDAF）を微調整するが、人為的ラベルデータは一切使用しない。
• 合成データと実際の（ただしドメイン外の）例を混合するバッチング戦略を導入し、合成データ分布への過学習を軽減する。
• 回答（短いスパン）と質問（完全な文）の構造的差異に着目し、生成パイプライン内でこれらを別々のデータタイプとして扱う。

実験結果

リサーチクエスチョン

• RQ1 未ラベルのターゲットドメインテキストから生成された合成QAペアは、機械理解におけるゼロショット転移性能を向上させるか？
• RQ2 まず回答、次に質問を生成する2段階生成プロセスは、エンドツーエンド生成よりも高品質な学習データをもたらすか？
• RQ3 合成データで微調整されたモデルの性能は、ドメイン内微調整およびドメイン外ベースラインと比較してどうなるか？
• RQ4 どのような種類の質問が、合成データ拡張によって最も恩恵を受けるか？
• RQ5 推論を要する質問（例：'what was' や 'what did' の質問）において、合成データ生成が性能ギャップを埋めるのに有効か？

主な発見

• SynNet手法により、SQuADで学習済みのBIDAFモデルのNewsQAにおけるF1スコアは、単一モデルで39.0%から44.3%に、アンサンブルでは46.6%に向上し、7.6%のベースラインを著しく上回った。
• 性能向上はすべての質問タイプにわたって一貫しており、特に場所特定および人物特定の質問で最大の改善が見られた。
• 誤差解析の結果、回答合成モジュールは高い正確性を示したが、明確なエンティティ（例：'David Schrader'）を漏らすケースがあり、NER/POSの監視情報の導入によりさらなる改善が可能であると示唆された。
• 質問生成モジュールは、特に固有表現を段落から直接コピーする傾向にあり、多様性を促進するデコード戦略の導入が求められる。
• 合成データで微調整されたモデルは、数値および人物特定の質問ではドメイン内性能に近づいたが、より高次の推論を要する質問では依然として性能が劣った。
• 合成データと実際のドメイン外データを混合するバッチング戦略により、一般化性能が向上し、合成データ分布への過学習が軽減された。