[論文レビュー] ERNIE: Enhanced Language Representation with Informative Entities

Zhengyan Zhang, Xu Han+4 more|arXiv (Cornell University)|May 17, 2019

Topic Modeling参考文献 54被引用数 133

ひとこと要約

ERNIE は、情報提供のエンティティ埋め込みを専用の知識モジュールとノイズ除去型エンティティオートエンコーダーを介して統合することにより、テキストと知識グラフ上で言語モデルを事前学習し、知識駆動タスクでの改善を達成しつつ一般的なNLPタスクにも競争力を保持します。

ABSTRACT

Neural language representation models such as BERT pre-trained on large-scale corpora can well capture rich semantic patterns from plain text, and be fine-tuned to consistently improve the performance of various NLP tasks. However, the existing pre-trained language models rarely consider incorporating knowledge graphs (KGs), which can provide rich structured knowledge facts for better language understanding. We argue that informative entities in KGs can enhance language representation with external knowledge. In this paper, we utilize both large-scale textual corpora and KGs to train an enhanced language representation model (ERNIE), which can take full advantage of lexical, syntactic, and knowledge information simultaneously. The experimental results have demonstrated that ERNIE achieves significant improvements on various knowledge-driven tasks, and meanwhile is comparable with the state-of-the-art model BERT on other common NLP tasks. The source code of this paper can be obtained from https://github.com/thunlp/ERNIE.

研究の動機と目的

• 知識グラフから外部知識を統合して、平文テキストを超えた言語理解を改善する動機付け。
• リッチな表現のため、テキスト情報と知識情報を融合する二モジュールのアーキテクチャを設計する。
• ノイズ除去エンティティオートエンコーダ（dEA）による事前学習タスクを提案し、テキストとKGエンティティを整合させる。
• エンティティ型付けや関係分類などの知識駆動タスクで改善を示しつつ、標準NLPベンチマークでも競争力を維持する。

提案手法

• 2つの積み重ねモジュール: テキストエンコーダ（T-Encoder）と、トークン情報とエンティティ情報を融合する知識感知エンコーダ（K-Encoder）。
• エンティティ表現は TransE で事前学習され、名前付きエンティティ認識および KG エンティティへの整合を通じてテキストと整合付与される。
• 新規の事前学習目的（dEA）は、トークン-エンティティの整合をランダムにマスクし、KG埋め込みから正しいエンティティを予測するようモデルを訓練する。
• BERT の MLM および NSP の目的は、語彙的・統語情報を捉えるために維持される。
• 各 K-Encoder のアグリゲーター内に情報融合層を設け、学習された変換を介してトークンとエンティティの埋め込みを結合する。
• タスク固有の入力形式を用いたファインチューニングには、関係分類のためにエンティティ言及を強調するマーク付きトークンを含む。

実験結果

リサーチクエスチョン

• RQ1 KG由来の有用なエンティティは、知識駆動型NLPタスクの性能を向上させるのか？
• RQ2 専用の知識融合メカニズムとdEA事前学習は、テキスト情報とエンティティ情報をより良く整合させられるのか？
• RQ3 ERNIE はエンティティ型付けおよび関係分類において、BERT およびタスク固有のベースラインと比較してどうか？
• RQ4 GLUE のような標準NLPベンチマークに対する ERNIE の影響はどうか？

主な発見

• ERNIE はエンティティ型付けおよび関係分類タスク（例：FewRel/TACRED）で BERT を大幅に上回り、有用なエンティティの利点を示している。
• Open Entity では、ERNIE が BERT に対して適合率と再現率を向上させ、KG知識をエンティティ型付けにより有効活用していることを示す。
• ERNIE は FewRel で BERT より高い F1 を達成し、TACRED ではマイクロ平均指標で BERT を上回る。
• GLUE の結果は、大規模データセットで BERT と同等である一方、小規模データセットでいくつか不安定性が見られる。
• アブレーション診断により、有用なエンティティと dEA 事前学習の双方が性能向上に寄与することが示される。