[論文レビュー] Revisiting Memory-Efficient Incremental Coreference Resolution.

Patrick Xia, João Sedoc+1 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling被引用数 2

ひとこと要約

この論文では、文脈を考慮したエンコーダーと明示的なエンティティ表現を用いて、メモリ使用量を漸近的に削減しながらも、競争力のある性能を維持する、メモリ効率が良く、エンドツーエンドで微分可能な段階的コアファレンス解決手法を提案する。新しいスパンをストリーミング形式で既存のエンティティ表現とスコア付けすることで、文書長にかかわらずスケーラブルなコアファレンス解決が可能になる。

ABSTRACT

We explore the task of coreference resolution under fixed memory by extending an incremental clustering algorithm to utilize contextualized encoders and neural components. Our algorithm creates explicit representations for each entity, where given a new sentence, spans are proposed and subsequently scored against each entity representation, leading to emergent clusters. Our approach is end-to-end trainable and can be used to transform existing models, leading to an asymptotic reduction in memory usage while remaining competitive on task performance, which allows for more efficient use of computational resources for short documents, and making coreference more feasible across very long document contexts.

研究の動機と目的

• 長文におけるコアファレンス解決の高メモリ消費を解決すること。
• 文書長にかかわらず固定メモリ使用量を維持することで、効率的かつ段階的なテキスト処理を可能にすること。
• エンドツーエンドで微分可能であり、モジュラー変換により既存モデルと互換性を持つ方法を開発すること。
• コアファレンス解決システムにおけるメモリフットプリントを大幅に削減しながらも、競争力のある性能を維持すること。

提案手法

• 各エンティティが明示的かつ学習可能なベクトル表現として表現される段階的クラスタリングアプローチを採用する。
• 各文の新しいスパンは、ニューラルスコア関数を用いて既存のエンティティ表現とスコア付けされる。
• スコア計算の前に、文脈を考慮したエンコーダー（例：BERT風）を用いて文脈的スパン表現を生成する。
• アルゴリズムは、新しいスパンを最も類似度の高い既存エンティティに割り当てるか、閾値を超えない場合は新しいクラスタを生成することで、動的にエンティティクラスタを更新する。
• システム全体がエンドツーエンドで微分可能であり、スパン表現とエンティティクラスタリングの両方を同時に最適化できる。
• 既存アーキテクチャへの最小限の変更でモデル変換が可能であり、性能損ないなしにメモリ削減が実現できる。

実験結果

リサーチクエスチョン

• RQ1 固定メモリ制約のもとで、非常に長い文書に対するコアファレンス解決はスケーラブルに可能か？
• RQ2 段階的クラスタリングと文脈を考慮したニューラルエンコーダーをどのように組み合わせれば、性能を維持しながらメモリ使用量を削減できるか？
• RQ3 この手法を用いることで、既存のコアファレンスモデルはどの程度効率的に再設計可能か？
• RQ4 提案手法は、メモリ制約下でも標準的なコアファレンスモデルと比較して、競争力のある性能を維持できるか？

主な発見

• 提案手法は漸近的メモリ削減を達成しており、文書長に応じてメモリ使用量が増加しない。
• メモリフットプリントが削減されているにもかかわらず、コアファレンス解決ベンチマークで競争力のある性能を維持している。
• エンドツーエンドで微分可能であり、モジュラー変換により既存モデルと互換性を持つ。
• メモリの増加を文書サイズとは分離することで、長文における効率的なコアファレンス解決が可能になった。
• 明示的なエンティティ表現とニューラルスコア関数の使用により、明示的なクラスタリングヒューリスティクスがなくても、自己組織的クラスタリング行動が発生する。
• 長期間のコンテキスト処理を伴う実世界の応用においても、スケーラブルかつ実用的である。