[論文レビュー] Document-Level Relation Extraction with Adaptive Thresholding and Localized Context Pooling

Wenxuan Zhou, Kevin Huang+2 more|arXiv (Cornell University)|Oct 21, 2020

Topic Modeling被引用数 17

ひとこと要約

本稿では、適応的しきい値と局所的コンテキストプーリングを用いて、マルチエンティティおよびマルチラベルの課題に対処する新しいドキュメントレベル関係抽出モデル、ATLOPを提案する。エンティティ固有のしきい値を学習し、事前学習済みのアテンションヘッドを活用して関連するコンテキストに注目することで、ATLOPはDocREDベンチマークで63.4のF1スコアを達成し、先行する最先端モデルを上回る性能を発揮した。

ABSTRACT

Document-level relation extraction (RE) poses new challenges compared to its sentence-level counterpart. One document commonly contains multiple entity pairs, and one entity pair occurs multiple times in the document associated with multiple possible relations. In this paper, we propose two novel techniques, adaptive thresholding and localized context pooling, to solve the multi-label and multi-entity problems. The adaptive thresholding replaces the global threshold for multi-label classification in the prior work with a learnable entities-dependent threshold. The localized context pooling directly transfers attention from pre-trained language models to locate relevant context that is useful to decide the relation. We experiment on three document-level RE benchmark datasets: DocRED, a recently released large-scale RE dataset, and two datasets CDRand GDA in the biomedical domain. Our ATLOP (Adaptive Thresholding and Localized cOntext Pooling) model achieves an F1 score of 63.4, and also significantly outperforms existing models on both CDR and GDA.

研究の動機と目的

• 複数のエンティティペアとペアごとの複数の関係が存在するドキュメントレベル関係抽出におけるマルチエンティティおよびマルチラベルの課題に対処すること。
• 一般化を向上させるために、インスタンス固有のしきい値を学習することで、マルチラベル分類におけるヒューリスティックなしきい値チューニングを排除すること。
• 関連するコンテキストに注目することで、不要なドキュメントコンテンツに起因するノイズを低減し、エンティティ表現を向上させること。
• 明示的なグラフ構造に依存せずに、事前学習言語モデルのアテンションを直接活用することで、ドキュメントレベルREにおける性能を向上させること。
• 一般ドメイン（DocRED）および生物医学分野（CDR、GDA）のベンチマークデータセットにおいて、最先端の結果を達成すること。

提案手法

• 適応的しきい値は、グローバルなしきい値の代わりに、エンティティペアごとに学習可能なしきい値クラスを導入し、順位ベースの損失により学習することで、正例のログティックをしきい値以上、負例を以下に押し上げる。
• 局所的コンテキストプーリングは、事前学習済み言語モデルのアテンションヘッドを活用し、両方のエンティティからのアテンション重みを乗算することで、特定のエンティティペアに特化した関連コンテキストを同定する。
• この手法により、例として「born」と「died」のような、両方のエンティティに共通して情報を持つトークンに動的に注目でき、関係予測の正確性が向上する。
• エンティティ埋め込みは、コンテキストに敏感なアテンションを用いて精練され、すべてのエンティティペアに共通する固定のグローバル表現の使用を回避する。
• これらのコンponentsを統合した統一フレームワークを構築し、関係分類としきい値適応を同時に最適化する。
• 本手法はドキュメントグラフの構築を避け、代わりにアテンション転送と学習可能なしきい値に依存することで、長距離依存関係とマルチ関係的事実をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 固定されたグローバルしきい値と比較して、エンティティペア固有の学習可能なしきい値は、ドキュメントレベル関係抽出におけるマルチラベル分類を改善できるか？
• RQ2 事前学習モデルのアテンションから導出される局所的コンテキストプーリングは、各エンティティペアに適した関連コンテキストを効果的に同定し、不要なドキュメントコンテンツ由来のノイズを低減できるか？
• RQ3 適応的しきい値と局所的コンテキストプーリングを組み合わせることで、ドキュメントレベル関係抽出ベンチマークにおける顕著な性能向上が達成できるか？
• RQ4 明示的なドキュメントグラフのモデル化を避けても、アテンション転送とエンドツーエンド学習に依存することで、最先端の結果を達成できるか？
• RQ5 本モデルは、一般ドメイン（DocRED）および生物医学分野（CDR、GDA）の多様なドキュメントレベルREデータセットで、どのように性能を発揮するか？

主な発見

• ATLOPは、DocREDベンチマークで63.4のF1スコアを達成し、新たな最先端の性能を樹立した。
• 本モデルは、CDRおよびGDAの生物医学分野のデータセットにおいても、既存のアプローチを顕著に上回り、分野を越えた強力な一般化能力を示した。
• 適応的しきい値により、手動でのしきい値チューニングの必要がなくなり、インスタンス固有のしきい値を学習することで予測の信頼性が向上した。
• 局所的コンテキストプーリングは、例としてエンティティペア（John Stanistreet, Bendigo）に対して「born」と「died」のような関連コンテキストトークンを効果的に同定したことが、アテンション可視化で示された。
• アブレーションスタディにより、適応的しきい値と局所的コンテキストプーリングの両方が、モデルの性能向上に寄与していることが確認された。
• 本モデルはドキュメントグラフに依存せずに最先端の結果を達成しており、事前学習モデルからのアテンション転送が、効果的な長距離依存関係モデリングに十分であることが示された。