[論文レビュー] ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning

Yujia Qin, Yankai Lin+7 more|arXiv (Cornell University)|Dec 30, 2020

Topic Modeling参考文献 45被引用数 13

ひとこと要約

ERICAは、エンティティとその関係の理解を向上させるために、対照的学習フレームワークを提案する。新たに導入された2つの事前学習タスク、エンティティ識別と関係識別を通じて、マスク言語モデルと併用して最適化することで、BERTやRoBERTaのエンティティタイプ指定、関係抽出、質問応答の性能が顕著に向上する。特にリソースが限られた状況下で顕著な改善が得られる。

ABSTRACT

Pre-trained Language Models (PLMs) have shown superior performance on various downstream Natural Language Processing (NLP) tasks. However, conventional pre-training objectives do not explicitly model relational facts in text, which are crucial for textual understanding. To address this issue, we propose a novel contrastive learning framework ERICA to obtain a deep understanding of the entities and their relations in text. Specifically, we define two novel pre-training tasks to better understand entities and relations: (1) the entity discrimination task to distinguish which tail entity can be inferred by the given head entity and relation; (2) the relation discrimination task to distinguish whether two relations are close or not semantically, which involves complex relational reasoning. Experimental results demonstrate that ERICA can improve typical PLMs (BERT and RoBERTa) on several language understanding tasks, including relation extraction, entity typing and question answering, especially under low-resource settings.

研究の動機と目的

• 従来の事前学習目的がテキスト内の関係的事実を明示的にモデル化できないという限界を解決すること。
• 複数のエンティティ間の相互作用や文間をまたがる複雑な推論パターンを捉えることで、事前学習言語モデル（PLMs）のエンティティおよび関係の理解を向上させること。
• マルチホップ推論および文脈に依存するエンティティ表現の能力を高める汎用的なフレームワークを構築すること。
• リソースが限られた状況下で、関係的事実抽出が最も困難であるにもかかわらず、その有効性を実証すること。
• 外部の知識グラフを必要とせず、下流の言語理解タスクの性能を向上させる対照的学習ベースの事前学習手法を提供すること。

提案手法

• ヘッドエンティティと関係が与えられたもとで、正しいテールエンティティを識別するエンティティ識別タスクを導入。関係的文脈を通じてエンティティレベルの理解を向上させる。
• 2つの関係が意味的に類似しているかどうかを分類する関係識別タスクを提案。複雑な関係的推論チェーンを間接的にモデル化する。
• 文書レベルの遠隔監視を用いて、ネガティブおよびポジティブな関係ペアを構築。これにより、関係間の意味的類似性を学習できる。
• 事前学習中に、新しい対照的目的（エンティティ識別および関係識別）と標準的なマスク言語モデル（MLM）を統合する。
• インスタンスレベルのネガティブ例を用いた対照的学習を採用。ポジティブペアは共通のエンティティや意味的に類似した関係に基づいて構築される。
• 複数のエンティティ符号化戦略（平均プーリングおよびマーカーベース符号化）をサポート。これにより、さまざまな下流タスクとの互換性が保証される。

実験結果

リサーチクエスチョン

• RQ1 対照的学習は、文脈におけるエンティティおよびその関係の理解を事前学習言語モデルが向上させることができるか？
• RQ2 提案されたエンティティ識別タスクは、関係的文脈を通じてエンティティ表現をどの程度向上させることができるか？
• RQ3 関係識別タスクは、関係間の意味的類似性を捉える能力およびマルチホップ推論を支援する能力をどの程度向上させるか？
• RQ4 ERICAは、さまざまなエンティティ符号化手法および下流タスクに一般化可能か？
• RQ5 標準的な微調整およびベースラインと比較して、ERICAはリソースが限られた状況下でどの程度の性能を示すか？

主な発見

• ERICAは、関係抽出、エンティティタイプ指定、質問応答などの複数のNLPタスクにおいてBERTおよびRoBERTaを向上させ、DocREDベンチマークで一貫した向上を示した。
• DocREDの1%トレーニングデータスプリットにおいて、ERICAはF1スコアを11.4ポイント（30.4から38.5に）およびIgF1を7.4ポイント（28.9から36.3に）向上させ、標準BERTを上回った。
• 100%のトレーニングデータを用いた場合、ERICAはDocREDでF1スコア58.2およびIgF1スコア55.9を達成し、標準BERTおよび他のベースラインを上回った。
• 大規模事前学習ではエンティティマーカー符号化戦略が平均プーリングよりも高い性能を示したが、リソースが限られた状況下では平均プーリングが優れた性能を示した。
• t-SNE可視化により、ERICAは標準BERTと比較して、エンティティおよび関係のクラスタがよりコンパクトで意味的に明確な構造を持つことを確認した。
• フレームワークはさまざまなエンティティ符号化手法に対して頑健であり、表現戦略にかかわらず一貫した改善を示した。