[論文レビュー] LinkBERT: Pretraining Language Models with Document Links

Michihiro Yasunaga, Jure Leskovec+1 more|arXiv (Cornell University)|Mar 29, 2022

Topic Modeling被引用数 11

ひとこと要約

LinkBERT は、Wikipedia のハイパーリンクやPubMed の引用リンクなどのドキュメントリンクを活用することで、マルチホップ推論および知識統合を向上させる、新しい言語モデル事前学習手法です。連結ドキュメントペアを用いたマスク言語モデル学習とドキュメント関係予測を同時に学習することで、USMLE で +7% の精度向上、HotpotQA で +5% のF1スコア向上を達成し、最先端の性能を発揮します。

ABSTRACT

Language model (LM) pretraining can learn various knowledge from text corpora, helping downstream tasks. However, existing methods such as BERT model a single document, and do not capture dependencies or knowledge that span across documents. In this work, we propose LinkBERT, an LM pretraining method that leverages links between documents, e.g., hyperlinks. Given a text corpus, we view it as a graph of documents and create LM inputs by placing linked documents in the same context. We then pretrain the LM with two joint self-supervised objectives: masked language modeling and our new proposal, document relation prediction. We show that LinkBERT outperforms BERT on various downstream tasks across two domains: the general domain (pretrained on Wikipedia with hyperlinks) and biomedical domain (pretrained on PubMed with citation links). LinkBERT is especially effective for multi-hop reasoning and few-shot QA (+5% absolute improvement on HotpotQA and TriviaQA), and our biomedical LinkBERT sets new states of the art on various BioNLP tasks (+7% on BioASQ and USMLE). We release our pretrained models, LinkBERT and BioLinkBERT, as well as code and data at https://github.com/michiyasunaga/LinkBERT.

研究の動機と目的

• 既存の言語モデルが単一ドキュメントでの事前学習にとどまり、ドキュメント間の知識依存関係を捉えられていないという限界を解消すること。
• ハイパーリンクや引用など、ドキュメントリンクが事前学習段階でマルチホップ知識の源として機能するかどうかを検討すること。
• ドキュメントレベルの関係的信号を統合することで、質問応答や推論などの知識集約型NLPタスクの性能を向上させること。
• ドキュメントリンクネットワーク上のグラフベース学習と言語モデル学習を統合する自己教師付き事前学習フレームワークを構築すること。
• ドメイン固有のバリエーション（BioLinkBERT）を用いて、生物医学分野および一般分野のNLPベンチマークで、新たな最先端の結果を確立すること。

提案手法

• ドキュメント間のリンク（例：ハイパーリンク、引用）をエッジとして定義し、ドキュメントのグラフとして事前学習コーパスを表現する。
• ソースドキュメントのセグメントに続き、連続（同じドキュメント）、ランダム（関係のないドキュメント）、リンク済み（ハイパーリンクまたは引用で接続されたドキュメント）のいずれかのセグメントを入力シーケンスとして構築する。
• マスク言語モデル学習（MLM）とドキュメント関係予測（DRP）という2つの自己教師付き目的を同時に学習する。
• DRP を用いて、2つの入力セグメント間の関係を「連続」「ランダム」「リンク済み」と分類させ、モデルがブリッジコンセプトや関連性を学習するよう促進する。
• 2つのドメインで事前学習を行う：一般分野ではハイパーリンクを有するWikipedia、生物医学分野では引用リンクを有するPubMed。
• 得られたモデル（LinkBERT および BioLinkBERT）を、質問応答やテキスト分類などの下流タスクで微調整する。

実験結果

リサーチクエスチョン

• RQ1 事前学習段階でドキュメントリンクを統合することで、知識集約型タスクにおける言語モデルの性能が向上するか？
• RQ2 標準的なBERTスタイルの事前学習と比較して、ドキュメントリンクの使用がマルチホップ推論能力を向上させるか？
• RQ3 一般分野および生物医学分野の下流ベンチマークにおいて、LinkBERT は BERT や PubMedBERT などの既存モデルと比べてどのように性能を発揮するか？
• RQ4 ドキュメントリンクは、少データ（few-shot）およびゼロデータ（zero-shot）質問応答の性能にどの程度寄与するか？
• RQ5 より小さいドメイン固有のモデル（例：BioLinkBERT）は、特定の推論タスクにおいて、より大きな一般ドメインモデルを上回る性能を発揮できるか？

主な発見

• MRQA ベンチマークでは、BERT に対して +4% の絶対的F1スコア向上を達成し、一般分野のGLUEベンチマークでもBERTを上回る性能を示した。
• BioASQ および PubMedQA の生物医学分野の質問応答タスクでは、前回の最先端技術を上回る +7% の絶対的精度向上を達成した。
• MedQA-USMLE 専門医療ベンチマークでは、BioLinkBERT（large）がパラメータ数340Mで50%の精度を達成し、GPT-3（175Bパラメータ）の39%を上回った。
• 少データ質問応答において、HotpotQA および TriviaQA でそれぞれ +5% の絶対的スコア向上を示し、強力なマルチホップ推論能力を示した。
• DRP 目的は、ドキュメント間のブリッジコンセプト（例：「Tidal Basin」と「Japanese cherry trees」を結ぶ「National Cherry Blossom Festival」）を学習する能力を顕著に向上させた。
• 定性的分析により、BioLinkBERT は PubmedBERT が表面語一致に依存するため失敗する多段階推論チェーン（例：膵がん → 深静脈血栓症 → 圧迫超音波検査）を正しく特定していることが確認された。