[論文レビュー] Towards Effective Multi-Task Interaction for Entity-Relation Extraction: A Unified Framework with Selection Recurrent Network

Xu An Wang, Ao Liu+2 more|arXiv (Cornell University)|Feb 15, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、NERとREの間のフォームギャップを解消するために、エンティティ・関係抽出をエンティティ抽出、主題抽出、主題指向オブジェクト抽出の3つのスパン抽出タスクに再定式化する統合型カスケードフレームワークを提案する。これにより、暗黙のマルチタスク相互作用を実現する選択型再帰ネットワーク（SRN）を導入し、逐次的情報伝達のための2つの統合戦略（早期統合と後期統合）を採用することで、ACE05およびSciERCで最先端の性能を達成し、NERとREの間で顕著な相互利益を実現した。

ABSTRACT

Entity-relation extraction aims to jointly solve named entity recognition (NER) and relation extraction (RE). Recent approaches use either one-way sequential information propagation in a pipeline manner or two-way implicit interaction with a shared encoder. However, they still suffer from poor information interaction due to the gap between the different task forms of NER and RE, raising a controversial question whether RE is really beneficial to NER. Motivated by this, we propose a novel and unified cascade framework that combines the advantages of both sequential information propagation and implicit interaction. Meanwhile, it eliminates the gap between the two tasks by reformulating entity-relation extraction as unified span-extraction tasks. Specifically, we propose a selection recurrent network as a shared encoder to encode task-specific independent and shared representations and design two sequential information propagation strategies to realize the sequential information flow between NER and RE. Extensive experiments demonstrate that our approaches can achieve state-of-the-art results on two common benchmarks, ACE05 and SciERC, and effectively model the multi-task interaction, which realizes significant mutual benefits of NER and RE.

研究の動機と目的

• 既存の共同モデルにおけるNERと関係抽出（RE）の間の相互利益が限定的である理由として、タスク形式の不一致と矛盾する表現が原因であるため、これを是正する。
• 相互作用を無視し、三元組外のエンティティで失敗するパイプライン手法の限界を克服する。
• 共有エンコーダーにおける暗黙の相互作用が引き起こすNERの性能低下、特に三元組外のエンティティに対して顕著であることを緩和する。
• NERとREの間で暗黙の相互作用と明示的な逐次的情報伝達を両立できる統合フレームワークを設計する。
• タスク固有の表現と共有表現を保持しつつ、マルチタスク相互作用を効果的にモデル化することで、最先端の結果を達成する。

提案手法

• エンティティ・関係抽出を複数ターンのスパン抽出タスクに再定式化：エンティティ抽出、主題抽出、主題指向オブジェクト抽出。
• タスク固有の独立的および共有特徴を有するトークン表現を生成するため、BERTベースの埋め込みモデルと共有選択型再帰ネットワーク（SRN）エンコーダーを用いる。
• 逐次的情報伝達戦略を2つ設計：早期統合（エンティティおよび主題マーカーを入力に挿入）と後期統合（エンコーディング済み表現を再利用し、事前情報として埋め込みを挿入）。
• 共有表現内のタスク固有および共有コンponentsを動的に注目できる選択メカニズムをSRNに実装し、干渉を低減する。
• 統一ラベル空間を用いて、3つのタスクを一括最適化することで、エンドツーエンドでモデルを訓練する。
• 後期統合戦略を採用することで、エンコーディング済み表現を再利用し、計算コストを早期統合より低減し、推論速度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 NERとREをスパン抽出タスクとして扱う統合型フレームワークは、タスク形式のギャップを低減し、マルチタスク相互作用を向上させることができるか？
• RQ2 NERからREへの明示的な逐次的情報伝達は、特に三元組外のエンティティにおいて性能を向上させるか？
• RQ3 選択型再帰ネットワークは、タスク固有および共有表現を効果的に分離し、共同学習における干渉を最小限に抑えることができるか？
• RQ4 早期統合と後期統合の戦略の選択が、性能と推論効率にどのように影響を与えるか？
• RQ5 NERとREの共同学習は、特に挑戦的な三元組外エンティティにおいて、どの程度相互に向上をもたらすか？

主な発見

• 提案フレームワークは、ACE05およびSciERCで最先端の性能を達成し、両方のタスクで過去の最先端モデルを上回るNERおよびREのF1スコアを達成した。
• 早期統合戦略は高い性能（NERで69.2 F1、REで38.7 F1）を達成したが、速度は遅く（9.04文/秒）、後期統合戦略は32.7倍の高速化（295.04文/秒）を達成し、性能低下はわずかであった。
• 三元組外エンティティにおいて、早期統合モデルはPFNをSciERCで3.8%、ACE05で1.0%上回り、関係に含まれないエンティティの処理能力に優れたことを示した。
• アブレーションスタディの結果、NERからREへの一方向情報伝達を削除すると、NER F1は3.0%、RE F1は3.1%低下し、逐次的伝達の有効性が裏付けられた。
• 共同学習は、独立学習と比較してNER性能を顕著に向上させた。これは、REがNERに意味のある監視信号を提供していることを示している。
• 真の主題に限定せず、すべてのゴールドエンティティを候補の主題として使用することで、RE F1が5%向上し、オブジェクトモジュールの露出バイアスが軽減された。