[論文レビュー] Improving Coreference Resolution by Leveraging Entity-Centric Features with Graph Neural Networks and Second-order Inference

Lu Liu, Zhenqiao Song+2 more|arXiv (Cornell University)|Sep 10, 2020

Topic Modeling参考文献 30被引用数 7

ひとこと要約

この論文は、繰り返しのメッセージ伝達により照応関係の特徴をエンティティ中心に捉えるためにグラフニューラルネットワークを活用する、GNNCRと呼ばれる照応解決モデルを提案する。同時に、グローバルな一貫性を保証する2次元のデコードアルゴリズムを用いる。この手法は、長距離依存関係を効果的にモデル化し、一貫性のないクラスタリング誤りを低減することで、CoNLL-2012データセットで準SOTAの性能を達成する。

ABSTRACT

One of the major challenges in coreference resolution is how to make use of entity-level features defined over clusters of mentions rather than mention pairs. However, coreferent mentions usually spread far apart in an entire text, which makes it extremely difficult to incorporate entity-level features. We propose a graph neural network-based coreference resolution method that can capture the entity-centric information by encouraging the sharing of features across all mentions that probably refer to the same real-world entity. Mentions are linked to each other via the edges modeling how likely two linked mentions point to the same entity. Modeling by such graphs, the features between mentions can be shared by message passing operations in an entity-centric manner. A global inference algorithm up to second-order features is also presented to optimally cluster mentions into consistent groups. Experimental results show our graph neural network-based method combing with the second-order decoding algorithm (named GNNCR) achieved close to state-of-the-art performance on the English CoNLL-2012 Shared Task dataset.

研究の動機と目的

• テキスト中に広く散らばった照応関係の照応対象となる言及のエンティティレベルのグローバル特徴を統合する課題に対処すること。これは、言及が分散しているため、容易に捉えることが難しい。
• クラスタレベルの文脈にアクセスできない mention-pair モデルの制限と、前方のみのエンティティ-言及モデルにおける誤差伝搬の問題を克服すること。
• 同じエンティティを指している可能性の高い言及間で双方向の特徴共有を可能にする手法を開発し、クラスタリングの一貫性を向上させること。
• 3つの言及の組み合わせ（3次元特徴）を活用するグローバル推論アルゴリズムを設計し、クラスタリング意思決定を最適化し、矛盾するリンクを低減すること。

提案手法

• 言及をノードとして表現し、エッジは2つの言及が同じエンティティを指している可能性をモデル化する。
• マルチレイヤーのグラフニューラルネットワークが、繰り返しのメッセージ伝達を実行し、言及間で特徴を統合することで、エンティティ中心の表現学習を可能にする。
• アーキテクチャは、木のスコアをアークペアの寄与度に分解する2次元デコードアルゴリズムを用い、3つの言及の組み合わせを最適化することで一貫性を向上させる。
• アークペアスコア関数はエンドツーエンドで学習され、単純な加法的スコアを超えて、言及ペア間の非線形な相互作用を捉える。
• GNNを用いた文脈符号化と、最終的なクラスタリングがグローバルに最適で、矛盾するリンクを含まないことを保証するグローバル推論ステップを統合する。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークは、照応チェーン内の言及間で双方向の特徴共有を可能にすることで、エンティティ中心の特徴を効果的にモデル化できるか？
• RQ2 グローバル推論アルゴリズムを用いて3次元特徴（3つの言及の組み合わせ）を組み込むことで、従来のグリーディーやビームサーチ手法よりも一貫性があり、正確なクラスタリングが達成できるか？
• RQ3 グローバルなエンティティレベルの情報を活用することで、照応解決における一般的な誤りタイプ（例：誤って統合されたエンティティ、見落とされた言及）はどの程度低減できるか？
• RQ4 提案手法は、CoNLL-2012ベンチマークにおけるF1スコアと誤り分布の観点から、SOTAモデルと比較してどの程度優れているか？

主な発見

• GNNCRは、CoNLL-2012英語照応解決データセットで準SOTAの性能を達成し、そのアーキテクチャの有効性を示した。
• NECRと比較して、42件の誤った統合エンティティが削減され、クラスタリング意思決定の一貫性が向上した。
• 2次元デコードアルゴリズムにより、特に性別や身元の不一致を伴うケースで、誤ったリンクが顕著に減少した。
• アークペアスコア関数が個々のアークスコアに対して非線形的に依存していることが確認され、3つ組の相互作用を捉えるために専用の関数を学習する必要があることが裏付けられた。
• NECRよりも高い正確性（precision）を示し、余分な言及誤りが26件少なく、余分なエンティティ誤りが29件少ないことから、より慎重で正確なクラスタリングが実現した。
• やや低い再現率（4件の欠落言及と17件の欠落エンティティ）であったが、全体のF1スコアの向上は、正確性と一貫性の大幅な向上に起因していた。