[論文レビュー] Document-level Relation Extraction as Semantic Segmentation

Ningyu Zhang, Xiang Chen+7 more|arXiv (Cornell University)|Jun 7, 2021

Topic Modeling参考文献 38被引用数 12

ひとこと要約

この論文では、エンティティペアを特徴マップ上のピクセルとして扱うことで、文書レベルの関係抽出をセマンティックセグメンテーションタスクとして定式化する最初のモデルであるDocuNetを提案する。エンティティレベルの関係行列上にU字型のセグメンテーションヘッドを適用し、グローバルな相互依存関係を捉える。DocRED、CDR、GDAのベンチマークで最先端の性能を達成し、先行手法よりもCDRで6.9%のF1スコア向上を達成した。

ABSTRACT

Document-level relation extraction aims to extract relations among multiple entity pairs from a document. Previously proposed graph-based or transformer-based models utilize the entities independently, regardless of global information among relational triples. This paper approaches the problem by predicting an entity-level relation matrix to capture local and global information, parallel to the semantic segmentation task in computer vision. Herein, we propose a Document U-shaped Network for document-level relation extraction. Specifically, we leverage an encoder module to capture the context information of entities and a U-shaped segmentation module over the image-style feature map to capture global interdependency among triples. Experimental results show that our approach can obtain state-of-the-art performance on three benchmark datasets DocRED, CDR, and GDA.

研究の動機と目的

• 文書レベルの関係抽出における複数の関係トリプル間のグローバルな相互依存関係を捉えることのできない既存モデルの限界を解消すること。
• 文書レベルのモデルでは解消できない長距離および文間関係を向上させること。
• コンピュータビジョンにおける画像セグメンテーションに類似した、文書レベルのREをセマンティックセグメンテーションタスクとして定式化する新しいアプローチを検討すること。
• エンティティペア間のローカルな文脈とグローバルな関係推論を同時に捉えるモデルを設計すること。

提案手法

• エンコーダモジュールを用いて、文書内の各エンティティの文脈表現を抽出する。
• エンティティペアの表現から、画像に類似た特徴マップを構築し、各エンティティペアを分類対象の「ピクセル」として扱う。
• この特徴マップにU字型のセグメンテーションヘッドを適用して関係タイプを予測し、トリプル間の長距離依存関係をモデル化する。
• U字型アーキテクチャは、スキップ接続を用いて空間的（エンティティペア）分解能を保持し、特徴学習を強化する。
• 現実世界のデータにおける関係タイプの長尾分布に対処するため、バランスの取れたソフトマックス損失を導入する。
• クラスバランスを考慮した交差エントロピー損失を用いて、エンドツーエンドで学習することで、レアな関係の検出を向上させる。

実験結果

リサーチクエスチョン

• RQ1 文書レベルの関係抽出は、エンティティペア特徴マップ上でセマンティックセグメンテーションタスクとして効果的に再定式化可能か？
• RQ2 関係トリプル間のグローバルな相互依存関係をモデル化することで、文書レベルの関係抽出の性能がどのように向上するか？
• RQ3 U字型セグメンテーションアーキテクチャは、長距離および文間エンティティペア間の関係推論をどの程度向上させるか？
• RQ4 提案されたバランスの取れたソフトマックス損失は、関係分類におけるクラス不均衡をどの程度緩和できるか？
• RQ5 間接的な関係を推論できる能力があることを示唆するように、モデルは暗黙的に関係推論を実行していると見なせるか？

主な発見

• DocuNetは、DocRED、CDR、GDAの3つのベンチマークデータセットで最先端の性能を達成し、前回の最先端手法ATLOPよりもCDRで6.9%のF1スコアの絶対的向上を達成した。
• アブレーションスタディでは、U字型セグメンテーションモジュールを削除すると開発F1スコアが2.18%低下し、グローバルな依存関係を捉える上でそのモジュールが極めて重要であることが示された。
• バランスの取れたソフトマックス損失は顕著な寄与を示しており、削除するとF1スコアが1.32%低下し、長尾分布の関係タイプに有効であることが確認された。
• 文脈ベースの特徴入力のモデルは類似度ベースのバージョンよりも0.84のF1スコアで優れており、文脈表現の優位性が裏付けられた。
• DocREDでは、U字型セグメンテーションを備えたモデルが、エンティティ数のグループにかかわらずベースラインを常に上回り、エンティティ数が増えるほど大きな向上幅を示した。
• ケーススタディでは、DocuNetが間接関係（例：メアリーランド経由でエルドスバーグの国がアメリカ合衆国）を推論できることを示し、暗黙的な関係推論能力を有していることが示唆された。