[論文レビュー] MLBiNet: A Cross-Sentence Collective Event Detection Network

Dongfang Lou, Zhilin Liao+3 more|arXiv (Cornell University)|May 20, 2021

Topic Modeling参考文献 42被引用数 4

ひとこと要約

本稿では、文書レベルの意味情報と文間イベント相互依存性を統合的にモデル化するためのマルチレイヤー双方向ニューラルネットワーク、MLBiNetを提案する。双方向デコーダー、情報集約モジュール、スタックドデコーディング層を採用することで、文内および文間の依存関係を捉え、ACE 2005ベンチマークにおいて85.7のF1スコアを達成し、従来手法を1.9ポイント上回る新たなSOTAを達成した。

ABSTRACT

We consider the problem of collectively detecting multiple events, particularly in cross-sentence settings. The key to dealing with the problem is to encode semantic information and model event inter-dependency at a document-level. In this paper, we reformulate it as a Seq2Seq task and propose a Multi-Layer Bidirectional Network (MLBiNet) to capture the document-level association of events and semantic information simultaneously. Specifically, a bidirectional decoder is firstly devised to model event inter-dependency within a sentence when decoding the event tag vector sequence. Secondly, an information aggregation module is employed to aggregate sentence-level semantic and event tag information. Finally, we stack multiple bidirectional decoders and feed cross-sentence information, forming a multi-layer bidirectional tagging architecture to iteratively propagate information across sentences. We show that our approach provides significant improvement in performance compared to the current state-of-the-art results.

研究の動機と目的

• 既存のイベント検出モデルが文書レベルの意味的およびイベント相互依存性情報を無視するという限界を是正すること。
• 特にイベントトリガーが複数の文に散らばる状況においても、文内および文間のイベント依存関係を明示的にモデル化すること。
• 文書レベルの意味的集約とイベント相互依存性モデル化を統合した、エンドツーエンドで学習可能なフレームワークを構築すること。
• スタックドデコーディングアーキテクチャを用いて文間をまたがる情報の段階的伝搬を繰り返し行い、集団的イベント検出性能を向上させること。

提案手法

• イベントタグ系列における前向きおよび後向きの依存関係を捉えることで、各文内でのイベント相互依存性をモデル化する双方向デコーダーを設計する。
• プーリング操作（例：平均、最大、LSTMベース）を用いて、文レベルの意味的およびイベントタグ情報の要約を行う情報集約モジュール。
• 複数の双方向デコーダー層をスタックすることで、隣接する文間をまたがる情報伝搬を可能にし、段階的精錬によって長距離文脈モデリングを実現する。
• 入力として文書、出力としてイベントタグ系列を生成するSeq2Seqタスクとしてイベント検出を定式化することで、複数イベントの同時予測を可能にする。
• 隣接する層の出力を次の層に供給することで、文間をまたがる文脈信号の階層的流れを実現する。
• 予測されたイベントタグ系列に対する交差エントロピー損失を用いて、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 統合的ディープラーニングフレームワークは、集団的イベント検出の文書レベルの意味的情報とイベント相互依存性を効果的にモデル化できるか？
• RQ2 一方向または非再帰的タギング構造と比較して、文内での双方向デコーディングはイベント依存性のモデル化をどのように向上させるか？
• RQ3 スタックド双方向デコーディング層は、文間情報伝搬をどの程度向上させ、検出精度を向上させるか？
• RQ4 提案された情報集約モジュールは、各文からの関連する意味的およびイベント信号を効果的に要約しているか？
• RQ5 ACE 2005ベンチマークにおいて、MLBiNetはSOTAモデルと比較してF1スコアおよび頑健性の面で優れているか？

主な発見

• MLBiNetはACE 2005ベンチマークで85.7のF1スコアを達成し、前回の最高スコアを1.9ポイント上回る新たなSOTAを達成した。
• アブレーションスタディの結果、双方向デコーダーとマルチレイヤースタッキング機構の両方が性能向上に顕著な貢献をしていることが確認された。
• LSTMベースの集約が平均および最大プーリングを上回る性能を示しており、イベント信号の順序的モデリングが検出精度を向上させることを示している。
• 隣接する文からの文脈情報が利用可能になると、'firing' や 'death' といったイベントトリガーの検出が向上するなど、文間依存性を効果的に捉えていることが裏付けられた。
• 共起イベントを含む状況では特に顕著な性能向上が見られ、ACE 2005コーパスでは44.4%のトリガーがこのような構成に属している。
• 文間文脈を活用することで、'firing' が 'Attack' または 'End_Position' を示す可能性があるような曖昧なトリガーに対しても、モデルは頑健に処理している。