[論文レビュー] Cross-Document Language Modeling.

Avi Caciularu, Arman Cohan+4 more|arXiv (Cornell University)|Jan 2, 2021

Topic Modeling被引用数 14

ひとこと要約

本稿では、文書間マスキングとシーケンスレベルのグローバルアテンションを備えた新しい長文脈アテンションパターンを用いることで、マルチドキュメント自然言語処理タスクにおけるマスクされた言語モデルの性能を向上させるpretraining手法であるCross-Document Language Modeling (CD-LM) を提案する。CD-LMは、先行手法と比較して著しく少ないパラメータ数で、共参照解決や類似検出などのタスクで最先端の結果を達成している。

ABSTRACT

We introduce a new pretraining approach for language models that are geared to support multi-document NLP tasks. Our cross-document language model (CD-LM) improves masked language modeling for these tasks with two key ideas. First, we pretrain with multiple related documents in a single input, via cross-document masking, which encourages the model to learn cross-document and long-range relationships. Second, extending the recent Longformer model, we pretrain with long contexts of several thousand tokens and introduce a new attention pattern that uses sequence-level global attention to predict masked tokens, while retaining the familiar local attention elsewhere. We show that our CD-LM sets new state-of-the-art results for several multi-text tasks, including cross-document event and entity coreference resolution, paper citation recommendation, and documents plagiarism detection, while using a significantly reduced number of training parameters relative to prior works.

研究の動機と目的

• 長距離および文書間依存関係を捉えることで、マルチドキュメントNLPタスクにおけるマスクされた言語モデルの性能を向上させること。
• 先行手法と比較して、効果的なマルチドキュメントモデリングに必要なパラメータ数を削減すること。
• Longformerアーキテクチャを、より良い文脈モデリングを可能にするシーケンスレベルのグローバルアテンションをサポートする新しいアテンションパターンで拡張すること。
• 共参照解決や引用推薦などの下流マルチドキュメントタスクにおける性能を向上させること。

提案手法

• 複数の関連ドキュメントを1つの入力シーケンスとして統合し、文書間マスキングを可能にすることで、ドキュメント間の関係を学習する。
• 局所的な窓内でのアテンションに加え、全シーケンスにわたるグローバルアテンションを組み込んだ変更済みLongformerアテンションメカニズムを用い、長文脈におけるマスキングされたトークンを予測する。
• 局所アテンションを維持しつつ、全シーケンスにわたるグローバルアテンションを保つことで、長距離依存関係を保持する。
• マスクされた言語モデルの目的関数に基づき、大規模なマルチドキュメントコーパス上でモデルをエンドツーエンドで訓練する。
• 計算効率と長文脈モデリングの両立を図る新しいアテンションパターンでモデルを最適化する。
• 特定のマルチドキュメント下流タスクで事前学習済みのCD-LMを微調整し、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 文書間マスキングは、マルチドキュメントNLPタスクにおけるマスクされた言語モデルの性能を向上させることができるか？
• RQ2 長文脈モデリングにシーケンスレベルのグローバルアテンションを組み込むことで、マルチドキュメントタスクの性能はどのように向上するか？
• RQ3 CD-LMは、先行マルチドキュメントモデルと比較して、パrameter数をどの程度削減しつつ、性能を維持または向上させることができるか？
• RQ4 マルチドキュメントpretrainingと長文脈アテンションの組み合わせは、共参照および類似検出タスクにおける一般化性能を向上させるか？

主な発見

• CD-LMは、文書間イベントおよびエンティティ共参照解決タスクで最先端の結果を達成している。
• 論文の引用推薦タスクにおいても、先行手法を上回り、関連性予測の精度が向上していることが示された。
• 文書間類似性のモデリングに効果的であるため、文書レベルの類似検出においても優れた性能を示している。
• 先行手法と比較して著しく少ないトレーニングパラメータ数で、性能を維持または上回っている。
• 文書間マスキングとシーケンスレベルグローバルアテンションの統合により、長距離依存関係学習の面で明確な改善が得られている。
• アブレーションスタディの結果、文書間マスキングと新しいアテンションパターンの両方が、性能向上に独立して寄与していることが確認された。