[論文レビュー] Enriching Pre-trained Language Model with Entity Information for Relation Classification

Shanchan Wu, Yifan He|arXiv (Cornell University)|May 20, 2019

Topic Modeling参考文献 16被引用数 30

ひとこと要約

この論文では、ターゲットエンティティの周囲に特別なトークンを挿入し、文の表現に加えてその文脈的埋め込みを組み込むことで、BERTを強化するR-BERTという関係分類モデルを提案する。この手法は、SemEval-2010 Task 8データセットにおいて、従来の手法を著しく上回る新記録のマクロF1スコア89.25を達成し、文レベルの意味論とエンティティ固有の情報をよりよく捉えている。

ABSTRACT

Relation classification is an important NLP task to extract relations between entities. The state-of-the-art methods for relation classification are primarily based on Convolutional or Recurrent Neural Networks. Recently, the pre-trained BERT model achieves very successful results in many NLP classification / sequence labeling tasks. Relation classification differs from those tasks in that it relies on information of both the sentence and the two target entities. In this paper, we propose a model that both leverages the pre-trained BERT language model and incorporates information from the target entities to tackle the relation classification task. We locate the target entities and transfer the information through the pre-trained architecture and incorporate the corresponding encoding of the two entities. We achieve significant improvement over the state-of-the-art method on the SemEval-2010 task 8 relational dataset.

研究の動機と目的

• 事前学習された言語モデル（例：BERT）にエンティティレベルの情報を統合することで、関係分類の性能を向上させること。
• 標準的なBERTが文脈と特定のエンティティ関係を同時に捉える能力に限界があるという問題を解決すること。
• 事前学習された表現を活用すると同時に、ターゲットエンティティの位置と特徴を明示的に符号化する手法を開発すること。
• 関係分類のための標準ベンチマーク、SemEval-2010 Task 8で最先端の性能を達成すること。

提案手法

• 入力シーケンスの2つのターゲットエンティティの前後に特別なトークン「$」と「#」を挿入し、BERTがそれらの位置を認識できるようにする。
• 特別なトークンを含む完全なシーケンスをBERTモデルでエンコードし、文脈に依存する表現を生成する。
• 2つのエンティティに対応する特別なトークンの最終隠れ状態を抽出し、[CLS]トークンの表現と連結して分類に用いる。
• 連結されたベクトル（文 + エンティティ表現）を、多層の全結合ネットワークに供給し、関係予測を行う。
• 標準的な交差エントロピー損失を用いて、関係分類タスク上でモデル全体をエンドツーエンドで微調整する。
• 追加されたすべての層にドロップアウトを適用し、ベース学習率2e-5でAdam最適化を用いる。

実験結果

リサーチクエスチョン

• RQ1 事前学習された言語モデルに明示的なエンティティ情報を取り入れることで、関係分類の性能が向上するか？
• RQ2 エンティティの周囲に特別なトークンを挿入することで、モデルのターゲットエンティティの局所化および表現能力にどのような影響を与えるか？
• RQ3 文レベルのエンコーディングを超えて、エンティティ固有の表現が最終的な分類性能にどの程度寄与するか？
• RQ4 提案手法は、SemEval-2010 Task 8のような標準ベンチマークで、既存の最先端手法を上回る性能を発揮するか？

主な発見

• R-BERTは、SemEval-2010 Task 8データセットにおいて、マクロF1スコア89.25を達成し、すべての先行手法を上回った。
• アブレーションスタディの結果、特別なトークンとエンティティ表現の両方を削除すると、F1スコアが81.09に低下し、これらが重要な役割を果たしていることが示された。
• 特別なトークンのみを削除した場合（BERT-NO-SEP）はF1スコア87.98に低下し、トークンによるエンティティの局所化が性能に不可欠であることがわかった。
• エンティティ表現のみを削除した場合（BERT-NO-ENT）はF1スコア87.99に低下し、文のエンコーディングを超えてエンティティ固有の特徴が追加の利益をもたらしていることが確認された。
• 以前のSOTA手法であるEntity Attention Bi-LSTM（85.2 F1）を著しく上回った。
• 結果から、文レベルの文脈と明示的なエンティティ表現を組み合わせることで、優れた関係分類が達成できることが示された。