[論文レビュー] Neural Coreference Resolution with Deep Biaffine Attention by Joint Mention Detection and Mention Clustering

Rui Zhang, Cícero Nogueira dos Santos+3 more|arXiv (Cornell University)|May 13, 2018

Topic Modeling被引用数 3

ひとこと要約

この論文は、前件参照スコアリングにバイアフィン注意機構を用いて、メンション検出とメンションクラスタリングを共同最適化するニューラルコアリファレンス解像モデルを提案する。メンション検出損失とバイアフィン注意機構を組み合わせることで、5モデルアンサンブルを用いてCoNLL-2012英語テストセットで69.2%のF1を達成し、最先端の性能を実現した。

ABSTRACT

Coreference resolution aims to identify in a text all mentions that refer to the same real-world entity. The state-of-the-art end-to-end neural coreference model considers all text spans in a document as potential mentions and learns to link an antecedent for each possible mention. In this paper, we propose to improve the end-to-end coreference resolution system by (1) using a biaffine attention model to get antecedent scores for each possible mention, and (2) jointly optimizing the mention detection accuracy and the mention clustering log-likelihood given the mention cluster labels. Our model achieves the state-of-the-art performance on the CoNLL-2012 Shared Task English test set.

研究の動機と目的

• エンドツーエンドのニューラルコアリファレンス解像を改善するため、メンション検出とメンションクラスタリングを共同で最適化すること。
• 手作業で作成された特徴量や句構造解析器への依存を減らすため、最小限の特徴工学を伴う深層ニューラルネットワークを用いること。
• 非アナフォリック（シングルトン）メンションの割合が非常に高いという課題に対処するため、メンション検出損失を用いてアナフォリック性を明示的にモデル化すること。
• フィードフォワードネットワークの代わりにバイアフィン注意機構を用いることで、前件参照スコアリングの精度を向上させること。
• トレーニング中にメンション検出損失を活用することで、未学習のメンションへの一般化性能を向上させること。

提案手法

• スパンをエンコードし、文脈表現を生成するために双方向LSTMと注意機構を用いる。
• メンションスコアを予測するためのフィードフォワードネットワークを適用し、メンション検出の正確性を明示的に最適化する損失関数を導入する。
• 候補スパン間の前件参照スコアを計算するためにバイアフィン注意機構を採用し、コアリファレンスの確率を直接モデル化する。
• ゴールドクラスタラベルを用いて、メンション検出損失とメンションクラスタリングの対数尤度の2つの目的を共同で最適化する。
• 10語以内のすべてのスパンを潜在的なメンションとして扱い、別個のメンション検出器の必要性を排除する。
• 事前学習済みの単語埋め込みとCNNベースの文字埋め込みを用いて、単語表現を豊かにする。

実験結果

リサーチクエスチョン

• RQ1 メンション検出とクラスタリングの共同最適化は、分離して学習する場合と比較してコアリファレンス解像性能を向上させるか？
• RQ2 前件参照スコアリングにおいてフィードフォワードネットワークの代わりにバイアフィン注意機構を用いることで、コアリファレンス予測が改善するか？
• RQ3 メンション検出損失を用いることで、学習データに存在しないメンションの検出能力が向上するか？
• RQ4 長スパンに対する性能はどの程度か？（過去のシステムではしばしば検出が不十分であった。）
• RQ5 パイプラインシステムにおける累積誤りをどの程度軽減できるか？

主な発見

• 5モデルアンサンブルを用いて、CoNLL-2012英語テストセットで69.2%という新しい最先端のF1スコアを達成した。
• 単一モデルでのF1スコアは67.8%に達し、特に長スパンでの精度向上により、先行する最先端モデルを上回った。
• アブレーションスタディの結果、メンション検出損失やバイアフィン注意機構を削除するとF1が0.3〜0.4ポイント低下し、両者の貢献が確認された。
• Leeら（2017）が特定できなかった1,048件のメンションを同定したが、そのうち662件は学習データに存在しなかった。これは、一般化性能の向上を示している。
• 5語以上のスパンに対してメンション検出性能が顕著に向上し、幅にかかわらず高い正確性を示した。これは明示的な検出損失のおかげである。
• バイアフィン注意機構により前件参照スコアリングが向上し、より良いコアリファレンスリンクと、クラスタリングにおける高い精度が得られた。