[論文レビュー] A Context-Dependent Gated Module for Incorporating Symbolic Semantics into Event Coreference Resolution

Tuan Lai, Heng Ji+4 more|arXiv (Cornell University)|Apr 4, 2021

Topic Modeling参考文献 38被引用数 4

ひとこと要約

本稿では、SpanBERTを用いて、イベントのモダリティ、極性、時制などのノイジィな記号的特徴を文脈に応じて適応的に統合する、文脈依存型ゲーテッドモジュール（CDGM）を提案する。文脈に基づいて記号的特徴の重みを動的に設定し、トレーニング中にノイズ正則化を適用することで、ACE 2005で59.76、KBP 2016で58.41の最先端のF1スコアを達成し、ベースラインや単純な連結戦略を顕著に上回った。

ABSTRACT

Event coreference resolution is an important research problem with many applications. Despite the recent remarkable success of pretrained language models, we argue that it is still highly beneficial to utilize symbolic features for the task. However, as the input for coreference resolution typically comes from upstream components in the information extraction pipeline, the automatically extracted symbolic features can be noisy and contain errors. Also, depending on the specific context, some features can be more informative than others. Motivated by these observations, we propose a novel context-dependent gated module to adaptively control the information flows from the input symbolic features. Combined with a simple noisy training method, our best models achieve state-of-the-art results on two datasets: ACE 2005 and KBP 2016.

研究の動機と目的

• 自動予測された際にしばしば誤りが生じる、イベントのモダリティ、極性、時制などのノイジィな記号的特徴を、イベントコアリファレンス解消に統合する課題に対処すること。
• すべての特徴を同じように扱う固定型統合手法（例：連結）の限界を克服し、文脈や信頼性にかかわらず均等に扱うのではなく、文脈に応じて特徴を適切に統合すること。
• 文脈的手がかりに基づいて情報量の多い記号的特徴を効果的に選択的に利用できる汎用的なフレームワークを構築することにより、モデルの頑健性と性能を向上させること。
• 文脈に敏感な特徴ゲーティングとノイズ正則化を組み合わせることで、特に予測精度が低い記号的特徴に対してもモデルの一般化性能が向上することを示すこと。

提案手法

• 文脈に応じて記号的特徴からの情報の流れを動的に制御するため、学習可能なゲーティング機構を備えた文脈依存型ゲーテッドモジュール（CDGM）を導入する。
• 記号的特徴（例：モダリティ、極性）は学習可能なベクトルに埋め込まれ、CDGMを経由して処理され、その貢献度を調整するアテンションに類似した重みが計算される。
• CDGMは、文脈表現に条件付けられた全結合ネットワークを用いて計算された重みを用いて、記号的特徴表現の文脈に適した重み付き和を計算する。
• トレーニング中にランダムに記号的特徴を破損させる単純なノイズ正則化技術を適用し、予測誤差に対するモデルの頑健性を向上させる。
• モデルは文脈エンコーダーとしてSpanBERTを用い、mention表現と記号的特徴をCDGMを介して統合した後、コアリファレンス予測のための類似度を計算する。
• エンドツーエンドのモデルはコアリファレンス解消と記号的特徴予測を同時に学習するが、主な目的は記号的特徴統合の改善によるコアリファレンス性能の向上にある。

実験結果

リサーチクエスチョン

• RQ1 文脈に応じたゲーティング機構は、文脈的関連性に基づいて記号的特徴を効果的に選択的に利用することで、イベントコアリファレンス解消の性能を向上させることができるか？
• RQ2 異なる種類の特徴（例：モダリティ対サブタイプ）において、記号的特徴の性能はどのように変動するか？また、動的モジュールはノイジィな特徴の影響を軽減できるか？
• RQ3 記号的特徴が不正確に予測される場合に、トレーニング中にノイズ正則化を適用することでモデルの頑健性が向上するか？
• RQ4 統一されたフレームワークは、タスク固有のアーキテクチャを必要とせずに、多様な記号的特徴（例：モダリティ、極性、時制）を効果的に統合できるか？
• RQ5 コアリファレンス解消精度の観点から、単純な連結戦略やマルチタスク学習と比較して、本手法はどのように差をつけるか？

主な発見

• ノイズ正則化を施した提案されたCDGMは、ACE 2005データセットで59.76の最先端のF1スコアを達成し、ベースラインのSpanBERTモデルを顕著に上回った。
• モダリティ特徴では3.73ポイント、ジェネリックネスでは3.12ポイントの向上を達成しており、ノイジィな記号的特徴に対して顕著な改善が見られた。
• CDGMはすべての記号的特徴タイプにおいて単純な連結戦略を上回り、予測精度が低い特徴（例：モダリティ、ジェネリックネス）で特に大きな向上が見られた。
• KBP 2016ではF1スコア58.41を達成し、異なるデータセットとアノテーションガイドラインに対しても強い一般化性能を示した。
• コアリファレンス解消と記号的特徴予測を同時に学習するマルチタスク学習ではACE 2005で56.5のF1スコアにとどまり、本手法のゲーティング統合の優位性を裏付けた。
• 定性的な例では、モデルがモダリティや極性といった記号的特徴を適切に活用し、意味的に類似しているが文脈的に異なるイベントを正しくコアリファレンス解決していることが確認された。