[論文レビュー] Entity Structure Within and Throughout: Modeling Mention Dependencies for Document-Level Relation Extraction

Benfeng Xu, Quan Wang+3 more|arXiv (Cornell University)|Feb 20, 2021

Topic Modeling参考文献 30被引用数 9

ひとこと要約

本稿では、自己注意機構に構造的バイアスを統合することで、トランスフォーマー・エンコーダー内および全体にわたり、コアリフレンスや共起などのエンティティ・メンションの依存関係をモデル化する構造的自己注意ネットワークSSANを提案する。文書レベルの関係抽出の3つのデータセットで最先端の性能を達成しており、文脈と構造の推論を統合的に最適化することで、従来手法を著しく上回る。アダプティブな注意正則化により、性能が向上している。

ABSTRACT

Entities, as the essential elements in relation extraction tasks, exhibit certain structure. In this work, we formulate such structure as distinctive dependencies between mention pairs. We then propose SSAN, which incorporates these structural dependencies within the standard self-attention mechanism and throughout the overall encoding stage. Specifically, we design two alternative transformation modules inside each self-attention building block to produce attentive biases so as to adaptively regularize its attention flow. Our experiments demonstrate the usefulness of the proposed entity structure and the effectiveness of SSAN. It significantly outperforms competitive baselines, achieving new state-of-the-art results on three popular document-level relation extraction datasets. We further provide ablation and visualization to show how the entity structure guides the model for better relation extraction. Our code is publicly available.

研究の動機と目的

• 文書レベルの関係抽出のための統一的な枠組みとして、コアリフレンス、共起、間接的リンクといった多様なメンション依存関係を形式化すること。
• 従来の手法がエンティティ構造を後処理の特徴として扱うか、独立したグラフネットワークを用いるという限界を補うために、構造的推論を直接的に自己注意メカニズムに統合すること。
• エンコーディングプロセス全体にわたり、文脈と構造の推論を同時にかつ相互に作用させることで、関係抽出を向上させること。
• コアリフレンスを超える任意のトランスフォーマー基盤モデルに構造的事前知識を統合可能な汎用的手法を開発すること。

提案手法

• コアリフレンス、共起、共有参照による間接的リンクを含む、メンション依存関係のセットとしてエンティティ構造を形式化する。
• 各自己注意ブロック内に2つの変換モジュールを設計し、構造的事前知識に基づいて注意の流れを正則化する注意バイアスを生成する。
• 構造的ガイダンスを直接的に自己注意メカニズムに統合することで、すべてのレイヤーにわたり、文脈と構造の推論が相互に作用して同時に進行するようにする。
• 標準的なトランスフォーマー・エンコーダー内に構造的自己注意メカニズムを適用し、標準的なマルチヘッド・アテンションをSSANブロックに置き換える。
• 得られた文脈表現を用いて文書レベルの関係分類を実行し、関係抽出データセット上で端末から端末までの学習を実施する。
• アーキテクチャの変更なしに、構造的バイアスを注入することで、さまざまな事前学習モデルに本手法を適応可能にする。

実験結果

リサーチクエスチョン

• RQ1 コアリフレンスを超えるエンティティ・メンションの依存関係—例えば共起や間接的リンク—を、文書レベルの関係抽出においてどのように体系的に構造的事前知識として形式化できるか？
• RQ2 構造的依存関係は、後処理の特徴や別個のグラフネットワークではなく、自己注意メカニズム内に効果的にモデル化可能か？
• RQ3 エンコーディングプロセス全体にわたり構造的推論を統合することで、孤立的または遅延統合アプローチと比較して、関係抽出の性能が向上するか？
• RQ4 提案されたSSANモデルは、多様な文書レベルの関係抽出ベンチマークで、既存手法をどの程度上回るか？

主な発見

• SSANは、DocRED、CDR、GDAという3つの文書レベルの関係抽出データセットで、新たな最先端性能を達成しており、競合するベースラインと比較して一貫して顕著な改善を示している。
• コアリフレンスを追加特徴として使用するか、グラフベースの最適化を適用する従来手法よりも顕著に優れていることから、エンドツーエンドでの構造的統合の利点が明らかになった。
• アブレーションスタディの結果、構造的依存関係を組み込むことで性能が向上し、特に共有参照による間接的リンクをモデル化した際の向上が顕著であった。
• 可視化結果から、SSANの注意はコアリフレンスチェーンのような関連するメンションや構造的経路に集中していることが示され、エンティティ構造からの有効なガイダンスが得られていることが裏付けられた。
• 本手法はドメインにかかわらず良好に一般化され、一般ドメイン（DocRED）およびバイオメディカルドメイン（CDR、GDA）の両方で強力な性能を発揮した。
• 提案された構造的バイアスモジュールは、注意の流れを効果的に正則化し、より一貫性があり文脈に適った表現を生成した。