[論文レビュー] Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering

Alexander R. Fabbri, Patrick Ng+3 more|arXiv (Cornell University)|Apr 24, 2020

Topic Modeling参考文献 11被引用数 7

ひとこと要約

本論文は、検索およびテンプレートに基づく手法を提案し、元の文脈ではなく、検索された意味的に関連する文から合成学習データを生成することにより、抽出型質問応答の性能を向上させる非教師あり質問生成を実現する。検索された文中の答えとエンティティをテンプレートに適用することで、SQuADでは64.04のF1スコア、名前付きエンティティの質問では77.55のF1スコアを達成し、先行する非教師ありモデルよりも相対的に14%の向上を達成した。

ABSTRACT

Question Answering (QA) is in increasing demand as the amount of information available online and the desire for quick access to this content grows. A common approach to QA has been to fine-tune a pretrained language model on a task-specific labeled dataset. This paradigm, however, relies on scarce, and costly to obtain, large-scale human-labeled data. We propose an unsupervised approach to training QA models with generated pseudo-training data. We show that generating questions for QA training by applying a simple template on a related, retrieved sentence rather than the original context sentence improves downstream QA performance by allowing the model to learn more complex context-question relationships. Training a QA model on this data gives a relative improvement over a previous unsupervised model in F1 score on the SQuAD dataset by about 14%, and 20% when the answer is a named entity, achieving state-of-the-art performance on SQuAD for unsupervised QA.

研究の動機と目的

• 教師あり質問応答におけるラベル付きデータの高コストと不足問題に対処するため、合成データを用いた非教師あり学習を可能にする。
• 単純なクローズ型テンプレートを越えた、合成質問の品質を向上させる。
• 意味的に関連する文を検索し、テンプレートを適用することで、下流のQAパフォーマンスが向上するかを調査する。
• エンティティマッチング、テンプレート構造、データサイズがモデルパフォーマンスに与える影響を評価する。
• 再現可能性および非教師ありQA分野におけるさらなる研究を支援するため、合成学習データとコードを公開する。

提案手法

• 元の文脈パラグラフと少なくとも1つの名前付きエンティティを共有する答えのエンティティを含むWikipediaコロナから文を検索する。
• 事前学習済みNERシステム（spaCy）を用いて、クエリ文脈および検索された文の両方から名前付きエンティティを抽出する。
• 検索された文から、答えを挿入し、エンティティタイプに応じたwh語を用いて質問に変換するテンプレートベースの質問生成モジュールを適用する。
• 構造的影響を調査するため、異なる語順（例：Wh + B + A + ?）およびwh語タイプ（例：what, who）を用いたテンプレートを構築する。
• F1類似度閾値（≤95%）を用いて、類似度が高くまたは模造に近いものを除外し、少なくとも1つの追加エンティティが共有されていることを要件とする。
• 合成質問-回答ペア上でBERT-largeモデルをファインチューニングし、SQuAD v1.1の開発およびテストセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 元の文脈ではなく、関連する検索された文から質問を生成することで、下流のQAパフォーマンスが向上するか？
• RQ2 wh語の選択およびテンプレート構造の選択が、生成された質問の品質およびモデルパフォーマンスに与える影響は？
• RQ3 検索された文と文脈との間に少なくとも1つの追加エンティティを共有させる要件が、モデルの一般化性能に与える影響は？
• RQ4 どれほどの合成データ量が必要で、パフォーマンスが飽和するか、あるいはデータ量増加に伴い劣化するか？
• RQ5 本手法を用いた非教師あり質問生成は、低データ環境下で教師ありベースラインに並ぶか、それを上回るパフォーマンスを達成できるか？

主な発見

• 提案されたテンプレートベースの手法は、SQuADテストF1スコア64.04を達成し、先行する非教師ありモデルよりも相対的に14%の向上を示した。
• 名前付きエンティティの質問（SQuAD-NER）では、F1スコア77.55を達成し、先行する非教師ありモデルよりも相対的に20%の向上を示した。
• エンティティタイプに応じたwh語（例：人名に対して「who」）を使用することで、単に「what」を用いる場合に比べてパフォーマンスが著しく向上した。
• 検索された文と文脈との間に少なくとも1つの追加エンティティを共有させる要件を設けることで、F1スコアが5ポイント以上向上した。
• 50,000件の合成例でパフォーマンスが飽和し、本手法で得られた10,000件の例でも、400万件の例で学習された先行非教師ありモデルを上回った。
• 本非教師ありモデルは、50,000件の合成データで、3,000件のラベル付き例でファインチューニングされた完全な教師ありモデルと同等のパフォーマンスを達成した。