[論文レビュー] End-to-end Multilingual Coreference Resolution with Mention Head Prediction

Ondřej Pražák, Miloslav Konopík|arXiv (Cornell University)|Sep 26, 2022

Topic Modeling被引用数 4

ひとこと要約

本論文は、XLM-RoBERTa-largeを用いた連合多言語事前学習を活用し、mention head予測を通じて性能を向上させるエンドツーエンドの多言語共参照解決モデルを提示する。このシステムはCRAC 2022共有タスクで3位を獲得し、head-wordスパンを直接最適化することでCoNLL F1スコアを向上させ、2つのデータセットで1位を記録した。これは、head予測が公式評価指標との整合性を高めることを示している。

ABSTRACT

This paper describes our approach to the CRAC 2022 Shared Task on Multilingual Coreference Resolution. Our model is based on a state-of-the-art end-to-end coreference resolution system. Apart from joined multilingual training, we improved our results with mention head prediction. We also tried to integrate dependency information into our model. Our system ended up in $3^{rd}$ place. Moreover, we reached the best performance on two datasets out of 13.

研究の動機と目的

• 13言語にわたる単一のモデルを用いて、統一的でエンドツーエンドのフレームワークで多言語共参照解決を実現すること。
• CoNLL F1スコアの最小mentionスパン（headwordを中心とする）を採用する公式スコアラーとモデル予測を一致させることで、CRAC 2022共有タスクにおける性能を向上させること。
• 全スパンではなくmention headの予測が、評価指標との整合性を高めるかどうかを検証すること。
• 構文的構造（依存木）をモデルに統合することで、共参照解決の性能を向上させることの可能性を検討すること。
• 低資源言語における連合多言語事前学習と単言語微調整の有効性を評価すること。

提案手法

• モデルは、事前のmention検出を経ずに、すべての可能なmentionスパンから直接antecedentを予測するトランスフォーマー基盤のエンドツーエンド共参照解決フレームワークに基づく。
• ベースエンコーダーとしてXLM-RoBERTa-largeを用い、全13言語のCorefUDデータセットを対象に連合多言語事前学習を実施後、各言語ごとに微調整を行う。
• mention表現の上に、各mentionのheadwordを予測する専用のhead予測ヘッドを追加し、CoNLLスコアラーで使用される最小スパンを最適化する。
• クラスタリングの際にはmentionの全スパンを用いるが、評価では予測されたheadのみを用いることで、スコアラーの部分的mentionマッチングルールと一致させる。
• 依存木を介して構文的依存情報の統合を試みたが、実装上の問題により性能向上が得られなかった。
• 学習中に正しいantecedentのマージナル対数尤度を最大化する。その定式化は $ J(D) = ext{log} ig( ext{prod}_{i=1}^{N} ext{sum}_{ ext{y} ext{ in } Y(i) ext{ and GOLD}(i)} P( ext{y}) ig) $ で表される。

実験結果

リサーチクエスチョン

• RQ1 連合多言語事前学習は、低資源言語および高資源言語の両方で共有タスク設定下での共参照解決性能を向上させるか？
• RQ2 全スパンではなくmention headの予測のみを行うことで、最小スパンを用いるCoNLL F1スコアラーとの整合性はどの程度向上するか？
• RQ3 依存木からの構文的構造をエンドツーエンド共参照モデルに効果的に統合できるか？
• RQ4 パrameter数がより多いにもかかわらず、なぜポーランド語では単言語モデルが多言語モデルを上回るのか？
• RQ5 単一のmentionと不連続mentionの割合が異なる言語において、モデルの性能はどのように変動するか？

主な発見

• 本システムはCRAC 2022共有タスクで全体で3位を達成し、平均CoNLL F1スコアは65.94を記録した。
• ドイツ語-ParCorFull（73.90 F1）およびハンガリー語-SzegedKoref（65.01 F1）の2つのデータセットで、他のすべてのシステムを上回る最高の性能を達成した。
• 連合多言語事前学習は、小さなデータセット（例：ドイツ語）において顕著な性能向上をもたらした。これは、ランダム初期化からの微調整が非現実的である場合に特に有効であった。
• mention head予測は3つのデータセットで明確な性能向上をもたらした。これは、スコアラーの最小スパンルールとの整合性を高めることで評価スコアが向上することを示している。
• 依存木情報の統合は結果を向上させなかったが、理論的には構文的強化の可能性を秘めている。実装上のバグが原因とされる。
• ポーランド語の単言語モデルが多言語XLM-RoBERTa-largeモデルを上回ったのは、大規模で高品質な単言語モデルとデータセットの規模のおかげであると考察された。