[論文レビュー] Paired Representation Learning for Event and Entity Coreference.

Xiaodong Yu, Wenpeng Yin+1 more|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 24被引用数 23

ひとこと要約

この論文では、イベントおよびエンティティのコアリファレンス解決のための統合フレームワークであるペア表現学習（PairedRL）を提案する。PairedRLは、個々の要素とそれらの相互関係の両方の文脈を1つのシーケンスとして符号化することで、要素のペアを同時にモデル化する。イベントの引数の構造的表現を保持するとともに、クロスコンテキスト符号化を活用することで、文内および文間コアリファレンスベンチマークの両方で最先端の性能を達成し、従来の手法を著しく上回る。

ABSTRACT

Co-reference of Events and of Entities are commonly formulated as binary classification problems, given a pair of events or entities as input. Earlier work addressed the main challenge in these problems -- the representation of each element in the input pair by: (i) modelling the representation of one element (event or entity) without considering the other element in the pair; (ii) encoding all attributes of one element (e.g., arguments of an event) into a single non-interpretable vector, thus losing the ability to compare cross-element attributes. In this work we propose paired representation learning (PairedRL) for coreference resolution. Given a pair of elements (Events or Entities) our model treats the pair's sentences as a single sequence so that each element in the pair learns its representation by encoding its own context as well the other element's context. In addition, when representing events, PairedRL is structured in that it represents the event's arguments to facilitate their individual contribution to the final prediction. As we show, in both (within-document & cross-document) event and entity coreference benchmarks, our unified approach, PairedRL, outperforms prior state of the art systems with a large margin.

研究の動機と目的

• 個々の要素を独立して表現する従来のコアリファレンスモデルの限界を解消する。すなわち、ペアとしての文脈を考慮しないまま1つの要素にのみ注目する点を是正する。
• ペア内の両要素を共有シーケンス内で同時に符号化することで、解釈可能性の低下や属性間比較の欠落を是正する。
• イベントの引数構造の情報を保持することで、コアリファレンスペア内の要素同士の微細な比較を可能にする。
• 文内および文間設定を含む、イベントおよびエンティティコアリファレンスの両タスクに高い性能を発揮する統合フレームワークを構築する。
• 各要素を独立に表現するのではなく、ペアの要素同士の相互文脈をモデル化することで、性能を向上させる。

提案手法

• 各イベントまたはエンティティのペアを1つの入力シーケンスとして扱い、それぞれの文を結合することで、同時符号化を可能にする。
• トランスフォーマーに基づくエンコーダーを用いて、ターゲット要素とそのペア相手の両方の文脈表現を学習する。
• イベント表現を、参加者、時間、場所などの引数を別々に符号化する構造とする。これにより、解釈可能な比較が可能になる。
• イベントおよびエンティティタスクの両方で共有パラメータを用い、コアリファレンスペアのバイナリ分類損失をエンドツーエンドで訓練する。
• アテンションメカニズムを活用し、各要素が相手の文脈に注目できるようにすることで、要素間の整合性を強化する。
• イベントおよびエンティティの両タイプにわたる共有表現学習を実装することで、コアリファレンスタイプ間での転移と一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 独立してモデル化するのではなく、ペアの要素を統合的に符号化することで、コアリファレンス解決の性能が向上するか？
• RQ2 イベントの引数レベルの構造的表現を保持することで、コアリファレンスタスクの予測精度が向上するか？
• RQ3 統一されたモデルアーキテクチャが、イベントおよびエンティティコアリファレンスを一貫して効果的に処理できるか？
• RQ4 モデルは文内および文間コアリファレンス設定の両方で良好に動作するか？
• RQ5 各要素を独立に表現するのではなく、ペアの要素同士の相互文脈をモデル化することで、より良いアライメントが得られるか？

主な発見

• PairedRLは、イベントおよびエンティティコアリファレンスベンチマークの両方で最先端の性能を達成し、従来の手法を著しく上回る。
• 長距離および文脈的整合性が重要な文間コアリファレンスにおいても、モデルの性能が向上している。
• ペア内の両要素を同時に符号化することで、1つの要素を独立に表現するのよりも優れた表現学習が実現される。
• イベント表現における引数レベルの構造的表現の保持により、コアリファレンスに関する推論能力が向上する。
• 統合アーキテクチャは、イベントおよびエンティティタイプの両方で良好に一般化され、頑健性と転移性を示している。
• 性能向上は顕著であり、以前の最先端システムと比較して大幅な向上が報告されている。