[論文レビュー] Learning from Context or Names? An Empirical Study on Neural Relation Extraction

Hao Peng, Tianyu Gao+6 more|arXiv (Cornell University)|Oct 5, 2020

Topic Modeling参考文献 39被引用数 18

ひとこと要約

この論文は、ニューラル関係抽出（NRE）モデルがテクスト的文脈とエンティティの表記にどれほど依存しているかを調査し、モデルが表記に基づくタイプ情報に強く依存しており、表記内の浅い手がかりを悪用する傾向にあることが明らかになった。これを解決するために、著者らはエンティティのマスクを施した対照的事前学習フレームワークを提案し、文脈理解を強化するとともにエンティティ名へのバイアスを低減させ、複数のベンチマークで特にリソースが限られた状況下でも、堅牢性と性能が著しく向上することを示した。

ABSTRACT

Neural models have achieved remarkable success on relation extraction (RE) benchmarks. However, there is no clear understanding which type of information affects existing RE models to make decisions and how to further improve the performance of these models. To this end, we empirically study the effect of two main information sources in text: textual context and entity mentions (names). We find that (i) while context is the main source to support the predictions, RE models also heavily rely on the information from entity mentions, most of which is type information, and (ii) existing datasets may leak shallow heuristics via entity mentions and thus contribute to the high performance on RE benchmarks. Based on the analyses, we propose an entity-masked contrastive pre-training framework for RE to gain a deeper understanding on both textual context and type information while avoiding rote memorization of entities or use of superficial cues in mentions. We carry out extensive experiments to support our views, and show that our framework can improve the effectiveness and robustness of neural models in different RE scenarios. All the code and datasets are released at https://github.com/thunlp/RE-Context-or-Names.

研究の動機と目的

• ニューラル関係抽出モデルがテキスト的文脈とエンティティの表記（特にタイプ情報）にどれほど依存しているかを調査すること。
• 既存のREベンチマークに、エンティティの表記を通じて浅い統計的手がかりが漏れ出しておらず、モデルの予測にバイアスをもたらしているかどうかを特定すること。
• エンティティ名の表面的な手がかりへの過剰な依存を減らし、文脈理解を高めることでモデルの堅牢性を向上させること。
• エンティティの表記をマスクすることで、文脈から関係の意味的性質を明示的に学ぶ事前学習フレームワークを開発すること。

提案手法

• 著者らは、文脈のみ（OnlyC）、表記のみ（OnlyM）、両方（C+M）の入力を用いてモデルを学習することで、各入力モalityの寄与を隔離するアブレーションスタディを実施した。
• エンティティの表記を事前学習中にマスクすることで、モデルがエンティティの識別子を記憶するのを防ぐ、エンティティマスク付き対照的事前学習（CP）フレームワークを提案した。
• フレームワークは、同じ関係を表す文のペアを学習するための対照的目的関数を用い、Wikidataを用いてこのようなペアを同定した。
• 事前学習済み言語モデル（例：BERT）を活用し、事前学習中にエンティティの表記をマスクすることで、モデルが文脈内の関係的パターンに注目するよう促した。
• この手法はWikipediaの文を学習データとして用い、TACRED、Wiki80、FewRel、ChemProtといった多様なベンチマークで評価した。
• フルリソース設定とリソースが限られた／少データ設定の両方で性能を評価し、堅牢性と一般化性能を測定した。

実験結果

リサーチクエスチョン

• RQ1 ニューラル関係抽出モデルは、関係分類において、テキスト的文脈とエンティティの表記のどちらにどれほど依存しているか？
• RQ2 既存のREベンチマークには、エンティティの表記に浅い統計的手がかりが含まれており、モデルが文脈パターンの学習ではなくそれらの手がかりを悪用しているか？
• RQ3 エンティティの表記をマスクする対照的事前学習フレームワークは、一般化性能を向上させ、表記の表面的手がかりへの依存を減らすことができるか？
• RQ4 提案手法は、多様なドメインおよびリソースが限られた設定でも性能を向上させるか？

主な発見

• モデルはエンティティの表記のみを入力として与えられても高い性能を達成しており、既存のベンチマークが表記に基づくタイプ情報を通じて浅い手がかりを漏らしていることが示された。
• 提案されたエンティティマスク付き対照的事前学習（CP）フレームワークは、すべてのベンチマークで性能向上を示し、10ウェイ1ショットFewRel 1.0では7%、TACREDの1%設定では18%の向上を達成した。
• CPフレームワークは特にリソースが限られた状況や少データ設定で顕著な改善を示し、表面的手がかりへの過剰適合が低減され、堅牢性が向上していることが確認された。
• この手法は、文脈理解（OnlyC）と表記に基づくタイプ情報の活用（OnlyM）の両方を向上させ、C+M設定での全体的な性能向上に寄与した。
• モデルはドメインをまたいで良好に一般化し、Wikipediaで事前学習されたにもかかわらず、医療分野のデータセット（ChemProt）でも強く性能を発揮した。
• 事例スタディにより、モデルがエンティティの識別子を記憶するのではなく、文脈内の関係的パターンに注目していることが確認され、マスクと対照的目的関数の有効性が裏付けられた。