[論文レビュー] Revisiting Joint Modeling of Cross-document Entity and Event Coreference Resolution

Shany Barhom, Vered Shwartz+4 more|arXiv (Cornell University)|Jun 4, 2019

Topic Modeling参考文献 27被引用数 8

ひとこと要約

本稿では、照合語のスパン、文脈埋め込み、述語・目的語構造を活用して、エンティティとイベントの間の相互依存関係をモデル化する、ドキュメント間エンティティおよびイベントコアリソリューションのための共同ニューラルアーキテクチャを提案する。ECB+において最先端の性能を達成し、前人未到のエンティティコアリソリューションの結果を報告するとともに、共同モデリングによりさらなる性能向上を達成した。

ABSTRACT

Recognizing coreferring events and entities across multiple texts is crucial for many NLP applications. Despite the task's importance, research focus was given mostly to within-document entity coreference, with rather little attention to the other variants. We propose a neural architecture for cross-document coreference resolution. Inspired by Lee et al (2012), we jointly model entity and event coreference. We represent an event (entity) mention using its lexical span, surrounding context, and relation to entity (event) mentions via predicate-arguments structures. Our model outperforms the previous state-of-the-art event coreference model on ECB+, while providing the first entity coreference results on this corpus. Our analysis confirms that all our representation elements, including the mention span itself, its context, and the relation to other mentions contribute to the model's success.

研究の動機と目的

• ドキュメント内コアリソリューションやイベントコアリソリューションに比べてあまり注目されていないドキュメント間エンティティコアリソリューションという未開拓のタスクに対処すること。
• 述語・目的語構造を介して相互依存関係を活用することで、エンティティとイベントの照合語を共同でモデリングすることにより、ドキュメント間コアリソリューションの性能を向上させること。
• ECB+データセットにおいて、以前はイベントコアリソリューションの評価のみが可能であったが、本稿では初めてエンティティコアリソリューションの結果を報告すること。
• 照合語表現の各要素（スパン、文脈、意味的依存関係）がモデル性能に与える寄与度を分析すること。

提案手法

• モデルは、各照合語をその語彙的スパン、周辺文脈、および他の照合語との意味的依存関係（述語・目的語構造を介して）を用いて表現する。
• 学習済み表現に基づくペアワイズ照合語コアリソリューションスコアラーが、照合語をコアリソリューションクラスタにグループ化する。
• 共同モデルは、イベント表現がその目的語エンティティのコアリソリューションクラスタを認識し、逆にエンティティ表現が関連するイベントのコアリソリューションクラスタを認識することで、エンティティとイベントのコアリソリューションを統合する。
• 意味的依存関係には連続的ベクトル表現を用い、先行研究で用いられた2値特徴よりも優れた性能を達成した。
• 共同モデリングの利点を評価するため、エンティティおよびイベントタスクを別々に学習する「非交差型」モデルも訓練した。
• t-SNE可視化を用いて、異なる表現コンponentsのクラスタリング品質を分析した。

実験結果

リサーチクエスチョン

• RQ1 エンティティとイベントコアリソリューションの共同モデリングは、ドキュメント間コアリソリューションの性能にどのように寄与するか？
• RQ2 照合語スパン、文脈、意味的依存関係表現の各要素がコアリソリューション性能に与える寄与度は何か？
• RQ3 ニューラルモデルはECB+データセットにおいて、エンティティおよびイベントコアリソリューションの両方で最先端の結果を達成できるか？
• RQ4 述語・目的語構造抽出の誤りやコアリソリューションクラスタリングの誤りが、エンティティおよびイベント照合語にどのように伝搬されるか？

主な発見

• 共同モデルは非交差型モデルに比べ、イベントコアリソリューションのF1スコアを1.0ポイント、エンティティコアリソリューションのF1スコアを1.2ポイント向上させた（p < 0.001）、共同モデリングの有効性を確認した。
• 非交差型モデルは、ECB+において前人最高のイベントコアリソリューションモデルを9.5 CoNLL F1ポイント上回った。
• 本稿はECB+において初めてエンティティコアリソリューションの結果を報告し、このタスクの新たなベンチマークを確立した。
• アブレーションスタディの結果、照合語スパン、文脈、意味的依存関係のすべての表現コンponentsが性能向上に寄与しており、特に意味的依存関係が顕著に強い寄与を示した。
• t-SNE可視化の結果、文脈ベクトルのみでも妥当なクラスタリングが得られ、依存関係に基づく照合語ベクトルは、照合語スパンが存在しない状況でも、述語・目的語構造に基づいてクラスタを明確に分離していた。
• 誤り解析の結果、22%のイベント誤りは、コアリソリューションされる目的語を共有する照合語に起因しており、これはしばしば異なる時刻に発生する類似したイベントに起因する。