[論文レビュー] Coreference Resolution as Query-based Span Prediction

Wei Wu, Fei Wang+3 more|arXiv (Cornell University)|Nov 5, 2019

Topic Modeling参考文献 43被引用数 21

ひとこと要約

この論文では、質問応答に類似したアプローチとして、スパン予測に基づくクエリ形式にすることで、コアフレンス解決の新しいフレームワークであるCorefQAを提案する。各参照表現に対して文脈に適したクエリを生成し、スパン予測モジュールを用いることで、初期提案段階で見逃された参照表現を回復する。外部のQAデータセットを活用したデータ拡張により、SOTAの結果を達成し、CoNLL-2012で83.1 F1（+3.5）、GAPで87.5 F1（+2.5）を達成した。

ABSTRACT

In this paper, we present an accurate and extensible approach for the coreference resolution task. We formulate the problem as a span prediction task, like in machine reading comprehension (MRC): A query is generated for each candidate mention using its surrounding context, and a span prediction module is employed to extract the text spans of the coreferences within the document using the generated query. This formulation comes with the following key advantages: (1) The span prediction strategy provides the flexibility of retrieving mentions left out at the mention proposal stage; (2) In the MRC framework, encoding the mention and its context explicitly in a query makes it possible to have a deep and thorough examination of cues embedded in the context of coreferent mentions; and (3) A plethora of existing MRC datasets can be used for data augmentation to improve the model's generalization capability. Experiments demonstrate significant performance boost over previous models, with 87.5 (+2.5) F1 score on the GAP benchmark and 83.1 (+3.5) F1 score on the CoNLL-2012 benchmark.

研究の動機と目的

• コアフレンス解決における参照表現提案の限界に対処し、下流のリンク処理で見逃された参照表現を回復できない問題を解決する。
• 既存のエンドツーエンドモデルが参照表現と文脈の相互作用を浅くしかモデリングしない問題を克服し、より深い文脈的分析を可能にする。
• 既存の質問応答データセットの豊富さを活用してデータ拡張を行い、モデルの汎化性と移行性を向上させる。
• 発話設定での性能を向上させるために、発話者アイデンティティを直接入力に連結することで、より効果的なモデリングを実現する。
• 提案されたスパン外の参照表現の検索を可能にし、参照表現提案の誤りに対してより頑健な柔軟で拡張可能なフレームワークを提案する。

提案手法

• 各候補となる参照表現をその周辺文脈に基づいて自然言語クエリに変換することで、コアフレンス解決をスパン予測タスクとして定式化する。
• 生成されたクエリを用いてスパン予測モジュールが文書内の同値参照表現を抽出することで、初期提案段階で見逃された参照表現の回復が可能になる。
• 事前学習済みのトランスフォーマー基盤モデル（例：BERT）を用い、クエリと文書の両方を符号化することで、統合表現学習を実現する。
• 発話者アイデンティティを、発話者の名前をその発話文に直接連結することで入力に統合し、発話固有の手がかりのモデリングを向上させる。
• 既存の質問応答データセット（例：SQuAD, BoolQ）を活用して事前学習を行い、汎化性と転移学習能力を強化する。
• 段階的学習戦略を採用：まずQAデータセットで事前学習を行い、その後、エンドツーエンド最適化を用いてコアフレンス固有のデータセットで微調整する。

実験結果

リサーチクエスチョン

• RQ1 コアフレンス解決がクエリベースのスパン予測タスクとして効果的に再定式化可能かどうか。特に、参照表現の再帰性とモデルの頑健性の向上に寄与するか。
• RQ2 既存の質問応答データセットをどれだけ活用できるか。特に、コアフレンス解決の性能向上に寄与するデータ拡張としての有効性はどの程度か。
• RQ3 入力に発話者アイデンティティを明示的にモデル化することで、複数人による発話設定におけるコアフレンス解決がどの程度向上するか。
• RQ4 クエリベースのモデリングは、標準的なエンドツーエンドアプローチと比較して、語彙的・意味的・構文的特徴をどの程度深くかつ効果的に活用できるか。
• RQ5 提案された手法は、初期の参照表現提案段階での誤りに対してどの程度感受性を示し、見逃された参照表現を効果的に回復できるか。

主な発見

• CorefQAはCoNLL-2012ベンチマークで83.1 F1のSOTAスコアを達成し、前回のモデル比で+3.5の向上を示した。
• GAPベンチマークでは87.5 F1を達成し、前回の手法比で+2.5の向上を示し、困難な代名詞解決タスクにおける強い汎化性能を示した。
• ベースラインモデルと比較して、特に1語あたりのスパン数（λ）が小さい状況でも顕著に高い参照表現再帰性を示しており、見逃された参照表現の効果的回復を裏付けた。
• 提案された発話者モデリング戦略（発話者名を発話文に直接連結）は、特に発話者が多数存在する文書において、二値の発話者特徴符号化を上回る性能を示した。
• 既存の質問応答データセットでの事前学習が、性能向上に顕著な寄与を示しており、QAスタイルの監視によるデータ拡張の有効性を確認した。
• 定性的な分析から、モデルは長距離の後行代名詞を効果的に解消できており、発話者アイデンティティを活用して発話文脈で正しく代名詞と先行詞を結びつけることができた。