[論文レビュー] A Hierarchical Distance-dependent Bayesian Model for Event Coreference Resolution

Bishan Yang, Claire Cardie+1 more|arXiv (Cornell University)|Apr 22, 2015

Topic Modeling参考文献 33被引用数 8

ひとこと要約

本稿では、イベント共参照解消のための非パラメトリッククラスタリングフレームワークに、教師ありで特徴豊富なペアワイズ距離関数を事前分布として統合する階層的距離依存ベイジアンモデルを提案する。mentionの類似度を学習可能な埋め込みと言語的特徴でモデル化し、文書内および複数文書にまたがるイベントのクラスタリングに階層的DDCRPを用いることで、ECB+コーパスにおいて最先端の性能を達成し、非教師ありおよび教師ありのベースラインを上回った。

ABSTRACT

We present a novel hierarchical distance-dependent Bayesian model for event coreference resolution. While existing generative models for event coreference resolution are completely unsupervised, our model allows for the incorporation of pairwise distances between event mentions -- information that is widely used in supervised coreference models to guide the generative clustering processing for better event clustering both within and across documents. We model the distances between event mentions using a feature-rich learnable distance function and encode them as Bayesian priors for nonparametric clustering. Experiments on the ECB+ corpus show that our model outperforms state-of-the-art methods for both within- and cross-document event coreference resolution.

研究の動機と目的

• 純粋な非教師ありまたはヒューリスティックベースの共参照モデルの限界を克服し、生成的クラスタリングに教師ありで特徴豊富な距離信号を統合すること。
• 文書内および複数文書にまたがるイベントmentionの確率的で階層的なクラスタリングを可能にすること。
• 距離依存チャイナレストランプロセスを階層構造で拡張し、イベントmention間の意味的・構造的依存関係をモデル化することで、共参照解消を改善すること。
• 判別的ペアワイズ類似度と生成的クラスタリングを組み合わせることで、文書跨ぎイベント共参照タスクにおいて優れた性能が得られることを示すこと。

提案手法

• クラスタリング意思決定のための学習可能な特徴豊富な距離関数を事前分布として用いることで、距離依存チャイナレストランプロセス（DDCRP）を拡張する。
• イベントmentionを文書内にクラスタリングし、文書内クラスタを複数文書にまたがって統合する階層的構造を採用する。
• ヘッド語の埋め込み、文脈語類似度、SRLの引数、参加者情報といった特徴を用いてペアワイズmention類似度をモデル化し、その重みはアノテート済みデータから学習する。
• ベイジアン推論を用いて、イベントクラスタと類似度パラメータを同時に推定することで、不確実性を考慮したクラスタリングを可能にする。
• 文書間の依存関係をモデル化するために階層的DDCRP（hddcrp）を用い、ペアワイズ距離に基づく事前分布を活用してクラスタ形成をガイドする。
• 統一された生成的確率的設定で、文書内および文書跨ぎの共参照解消を両立可能にするフレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックベイジアンクラスタリングモデルに学習可能な判別的ペアワイズ距離特徴を統合することで、イベント共参照解消の性能が向上するか？
• RQ2 文書間でクラスタを階層的にモデル化することで、文書跨ぎイベント共参照解消の性能にどのような影響を与えるか？
• RQ3 生成的クラスタリングと判別的類似度モデリングを組み合わせることで、純粋な非教師ありまたは決定的アプローチを上回る性能が得られるか？
• RQ4 SRLの引数や単語埋め込みといった言語的特徴が、正確な共参照予測にどの程度寄与するか？

主な発見

• 提案されたhddcrpモデルは、ECB+コーパスにおいて最先端の性能を達成し、階層的hdp-lexモデルやアグロメラティブベースラインの両方を、文書内および文書跨ぎの共参照タスクで上回った。
• 文書内F1（WD CoNLL F1）と文書跨ぎF1（CD CoNLL F1）が顕著に向上し、B3 F1スコアの上昇から、より優れたクラスタリング品質が示された。
• 学習された特徴重みは、ヘッド語の埋め込み類似度（重み = 4.5）と文字列一致（重み = 2.77）が共参照意思決定において最も予測力が高い特徴であることを示した。
• 「unveiled」と「announced」のような意味的に類似したmentionを、アグロメラティブモデルおよび非教師ありモデルが見逃すのに対し、本モデルは正しくグループ化した。
• 本モデルの性能は、イベント抽出や引数リンクの誤りに敏感であり、世界知識を要する時空間的参照では特に影響を受けることが分かった。
• 階層的構造により、文書跨ぎの信号が文書内意思決定に影響を与えるようになり、hddcrpがddcrpおよびhddcrp*を上回るWD CoNLL F1を達成した。