[論文レビュー] KgPLM: Knowledge-guided Language Model Pre-training via Generative and Discriminative Learning

Bin He, Xin Jiang+2 more|arXiv (Cornell University)|Dec 7, 2020

Topic Modeling参考文献 28被引用数 11

ひとこと要約

本稿では、共有パラメータを用いて生成的知識補完（マスクされたスパンの予測）と判別的知識検証（スパン置換チェック）を同時に最適化する、知識誘導型事前学習フレームワークKgPLMを提案する。WikipediaとWikidataの知識構造を活用することで、KgPLMはMRQAベンチマークでSOTA性能を達成し、TriviaQAではRoBERTaより+1.56 F1、NewsQAでは+1.26 F1の向上を達成した。

ABSTRACT

Recent studies on pre-trained language models have demonstrated their ability to capture factual knowledge and applications in knowledge-aware downstream tasks. In this work, we present a language model pre-training framework guided by factual knowledge completion and verification, and use the generative and discriminative approaches cooperatively to learn the model. Particularly, we investigate two learning schemes, named two-tower scheme and pipeline scheme, in training the generator and discriminator with shared parameter. Experimental results on LAMA, a set of zero-shot cloze-style question answering tasks, show that our model contains richer factual knowledge than the conventional pre-trained language models. Furthermore, when fine-tuned and evaluated on the MRQA shared tasks which consists of several machine reading comprehension datasets, our model achieves the state-of-the-art performance, and gains large improvements on NewsQA (+1.26 F1) and TriviaQA (+1.56 F1) over RoBERTa.

研究の動機と目的

• WikipediaとWikidataからの構造化知識を統合することで、事前学習言語モデルにおける事実的知識の保持を向上させること。
• 生成的および判別的事前学習目的を組み合わせることによる知識インジェクションにおける相乗効果を調査すること。
• 微調整時に変更を加えずにRoBERTaのアーキテクチャを維持する、パラメータ効率の良いフレームワークを開発すること。
• 2タワーやパイプラインの2つの訓練スキームが、知識集約型の下流タスクに与える影響を評価すること。
• 知識誘導型事前学習が、知識集約型の質問応答ベンチマークにおいて、標準的なMLM微調整を上回ることを実証すること。

提案手法

• 生成的知識補完（マスクスパン予測）と判別的知識検証（スパン置換チェック）の二重目的事前学習フレームワークを提案する。
• Wikipediaのリンク構造とWikidataの知識グラフを組み合わせたハイブリッド知識ソースを用い、事実的スパンを特定・マスクして訓練に使用する。
• 2タワー（生成器と識別器の並列訓練）とパイプライン（生成器の出力を識別器に供給）の2つの訓練スキームを導入する。
• 生成器と識別器の間でパラメータを共有することで、モデル効率を維持し、エンドツーエンドの訓練を可能にする。
• 知識に近いエンティティを用いて負例サンプルを構築することで、識別器の検証の頑健性を向上させる。
• アーキテクチャの変更なしに、RoBERTa BASEアーキテクチャ上で事前学習を実施し、下流タスクへの直接的適用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 生成的および判別的目的を同時に学習させることで、事前学習言語モデルにおける事実的知識の保持が向上するか？
• RQ2 2タワーとパイプラインの異なる事前学習スキームは、知識誘導型モデルの性能にどのように影響するか？
• RQ3 構造化知識ソースを用いた知識誘導型事前学習は、ゼロショットおよびフェイントショットの知識プローブタスクでより良い性能を達成するか？
• RQ4 本手法は、標準的なMLM事前学習および他の知識拡張ベースラインと比較して、下流の質問応答タスクで優れているか？
• RQ5 生成器と識別器の各コンponentが最終的なモデル性能に果たす相対的寄与度はどの程度か？

主な発見

• パイプラインスキームで訓練されたKgPLMは、MRQA共有タスクベンチマークでSOTA性能を達成し、TriviaQAではRoBERTaより+1.56 F1、NewsQAでは+1.26 F1の向上を示した。
• 自然質問（Natural Questions）では平均F1が0.98向上、TriviaQAでは1.56向上し、複数のデータセットにわたり一貫した向上を示した。
• アブレーションスタディの結果、生成器または識別器のいずれかを削除すると性能が低下し、両者の補完的役割が確認された。
• スパン置換チェック用のK-Replaceモジュールは極めて重要であり、削除すると特にパイプラインスキームで性能が著しく低下した。
• Wikipedia上で標準的なMLMで継続的学習を実施すると、RoBERTaは平均で0.53 F1向上するが、KgPLMは依然としてこのベースラインを上回り、知識誘導型目的の優位性を裏付けた。
• 2タワースキームとパイプラインスキームの両方がRoBERTaを上回る性能を示したが、特にTriviaQAではパイプラインスキームが最も高い向上を示した。