[論文レビュー] Contextualized Representations Using Textual Encyclopedic Knowledge

Mandar Joshi, Kenton Lee+2 more|arXiv (Cornell University)|Apr 24, 2020

Topic Modeling参考文献 52被引用数 23

ひとこと要約

本稿では、入力テキストに言及されたエンティティに関する動的取得されたWikipedia文を統合することで、文脈を統合的に把握するTEK強化表現を提案する。事前学習されたBERT風モデルを用い、テキスト型のエキサイクロペディア知識を統合し、知識拡張入力における自己教師付き事前学習を微調整することで、読解理解タスクで最先端の結果を達成した。TriviaQAではF1が1.6–3.1向上し、非ドメイン特化MRQAデータセットでは1.1–4.2向上した。

ABSTRACT

We present a method to represent input texts by contextualizing them jointly with dynamically retrieved textual encyclopedic background knowledge from multiple documents. We apply our method to reading comprehension tasks by encoding questions and passages together with background sentences about the entities they mention. We show that integrating background knowledge from text is effective for tasks focusing on factual reasoning and allows direct reuse of powerful pretrained BERT-style encoders. Moreover, knowledge integration can be further improved with suitable pretraining via a self-supervised masked language model objective over words in background-augmented input text. On TriviaQA, our approach obtains improvements of 1.6 to 3.1 F1 over comparable RoBERTa models which do not integrate background knowledge dynamically. On MRQA, a large collection of diverse QA datasets, we see consistent gains in-domain along with large improvements out-of-domain on BioASQ (2.1 to 4.2 F1), TextbookQA (1.6 to 2.0 F1), and DuoRC (1.1 to 2.0 F1).

研究の動機と目的

• 文脈表現に外部のテキスト型エキサイクロペディア知識を統合することで、読解理解における事実的推論を向上させること。
• 事前学習モデルが長尾事実的知識を捉えきれないという限界を、関連するWikipedia文を動的に取得することで補うこと。
• アーキテクチャの変更なしに、強力な事前学習済みBERT風エンコーダーを直接再利用可能にするために、入力に取得済みのテキスト知識を拡張すること。
• マスク言語モデルの目的関数を用いてTEK拡張テキストで事前学習することで、事前学習と微調整の入力間の分布のずれを低減すること。
• 知識拡張表現学習を通じて、ドメイン内およびドメイン外の質問応答ベンチマークで一貫した向上を示すこと。

提案手法

• 入力テキスト（例：質問と本文）に、入力に言及されたエンティティに関する動的取得されたWikipedia文を追加する。
• オリジナルのテキストと背景文を含む拡張入力を、入力タイプを区別する特別なトークンを用いて、事前学習済みのRoBERTaモデルでエンコードする。
• TEK拡張入力で事前学習する段階で、自己教師付きマスク言語モデルの目的関数を適用し、モデルのインダクティブバイアスを下流タスクの入力と一致させる。
• エンティティリンキングとn-gramマッチングを用いて関連するWikipedia文を取得し、取得関数は柔軟かつプラグイン可能である。
• TEK拡張入力を用いて、抽出型質問応答タスクでエンドツーエンドに微調整する。
• 背景知識を追加しても最大シーケンス長を増加させないため、入力長制約を維持する。

実験結果

リサーチクエスチョン

• RQ1 文脈表現に統合された動的取得されたテキスト型エキサイクロペディア知識は、読解理解タスクにおける事実的推論を向上させることができるか？
• RQ2 TEK拡張入力で事前学習することで、事前学習と微調整の間の分布のずれが低減し、パフォーマンスが向上するか？
• RQ3 アーキテクチャの変更なしに、市販のBERT風モデルが外部のテキスト知識を効果的に活用できるか？
• RQ4 知識統合はドメイン内およびドメイン外の質問応答ベンチマークにおけるパフォーマンスにどのように影響するか？
• RQ5 取得の質が、TEK強化表現の有効性にどの程度影響を及ぼすか？

主な発見

• TriviaQAでは、背景知識を統合しない同等のRoBERTaモデルと比較して、F1が1.6～3.1向上した。
• MRQAではドメイン内でも一貫した向上が観察され、特にドメイン外で顕著な向上が見られた：BioASQでは2.1～4.2、TextbookQAでは1.6～2.0、DuoRCでは1.1～2.0のF1向上。
• TEK拡張入力で自己教師付き事前学習を実施することで、モデルのパフォーマンスが顕著に向上し、事前学習と微調整の入力間の不一致が低減した。
• オリジナルのテキストと背景文を区別するように入力をフォーマットすることで、アーキテクチャ変更なしにRoBERTaのような強力な事前学習エンコーダーを直接再利用可能となった。
• 単純な取得手法（エンティティリンキングとn-gramマッチング）でさえも強力な向上を達成しており、より洗練された取得手法を用いればさらなる向上が期待できる。
• 最大シーケンス長を増加させないまま、複数の背景文を追加しても入力長制約を維持した。