[論文レビュー] Coreferential Reasoning Learning for Language Representation

Deming Ye, Yankai Lin+5 more|arXiv (Cornell University)|Apr 15, 2020

Topic Modeling参考文献 79被引用数 19

ひとこと要約

本稿では、繰り返し現れる用言のマスクと、その参照対象を文脈から予測させる、新たに提案された事前学習タスク「メンション参照予測（MRP）」を導入することで、コアファクター的推論を向上させる言語表現モデルCorefBERTを提案する。CorefBERTは、コアファクターに依存するNLPタスクで顕著な向上を示す一方で、一般NLPベンチマークでも競争力ある性能を維持する。

ABSTRACT

Language representation models such as BERT could effectively capture contextual semantic information from plain text, and have been proved to achieve promising results in lots of downstream NLP tasks with appropriate fine-tuning. However, most existing language representation models cannot explicitly handle coreference, which is essential to the coherent understanding of the whole discourse. To address this issue, we present CorefBERT, a novel language representation model that can capture the coreferential relations in context. The experimental results show that, compared with existing baseline models, CorefBERT can achieve significant improvements consistently on various downstream NLP tasks that require coreferential reasoning, while maintaining comparable performance to previous models on other common NLP tasks. The source code and experiment details of this paper can be obtained from https://github.com/thunlp/CorefBERT.

研究の動機と目的

• 既存の言語モデルが文境界を超えた長距離コアファクター関係を処理する能力に限界を示す問題に対処すること。
• 大規模な教師ありコアファクターデータセットに依存せずに、事前学習モデルにおけるコアファクター的推論を向上させること。
• 大規模なラベルなしテキストからコアファクター関係を明示的に捉える自己教師付き事前学習目的を構築すること。
• コアファクター解決能力を向上させつつも、一般NLPタスクでの強力な性能を維持すること。
• コピーベースの学習目的が、コアファクターの文脈に依存する表現学習を向上させるかどうかを検討すること。

提案手法

• 繰り返し現れるメンションをマスクし、モデルが文脈から正しい参照対象を予測する、新たな事前学習タスク「メンション参照予測（MRP）」を導入する。
• モデルが語彙全体からではなく、文脈から直接単語を選択することを促すコピーベースの学習目的を適用し、文脈に依存する表現を促進する。
• MRPを標準的なマスク言語モデル（MLM）と組み合わせ、局所的文脈と長距離コアファクター理解の両方を同時に最適化する。
• BERTと類似したマルチレイヤー双方向トランスフォーマー構造を採用し、コピーベースの目的を追加してもパラメータ増加が最小限に抑えられる。
• タスク固有のヘッド層を備えた標準的な微調整手順を用いて、下流タスクでモデルを微調整する。
• 微調整段階でコアファクター解決のためのマックスマージン損失を採用し、正しいメンション-参照対応を最適化する。

実験結果

リサーチクエスチョン

• RQ1 コアファクター関係を明示的にモデル化する自己教師付き事前学習目的が、話題レベルの推論を要する下流NLPタスクを改善できるか。
• RQ2 コピーベースの目的を組み込むことで、モデルのコアファクター解決のための文脈に依存する表現学習能力が向上するか。
• RQ3 教師ありコアファクターアノテーションに依存せずに、大規模なラベルなしテキストからコアファクター的推論を効果的に学習できるか。
• RQ4 コアファクター能力の向上が、GLUEのような一般NLPタスクの性能を低下させるか。
• RQ5 標準的なMLMと比較して、提案されたMRP事前学習タスクは、長距離依存関係のモデリングをどの程度改善するか。

主な発見

• CorefBERTは、MRQAで43.40 F1、DocREDで180.65 F1を達成し、vanilla BERTやRoBERTaを上回る顕著な向上を示す。
• QUOREFとFEVERベンチマークでは、CorefBERT ${}_{\textsc{large}}$ がそれぞれ13.23および18.88 F1を達成し、抽出型質問応答および事実検証タスクで一貫した向上を示す。
• GLUEベンチマークでは、CorefBERTはBERTと同等の性能を示し、一般NLPタスクで9.22 F1を記録しており、一般言語理解能力の低下がないことが示された。
• 推論時間はBERTやRoBERTaと同等であり、CorefBERT ${}_{\textsc{large}}$ はRTX 2080ti GPUで1例あたり約18.88 msを要するため、計算オーバーヘッドは最小限に抑えられている。
• アブレーション実験の結果、トレーニングデータの事前処理にコアファクター解決ツールを適用すると、NSPなしのBERTより性能が向上するが、完全なCorefBERTには及ばないことが判明し、弱教師付き学習におけるノイズ処理の改善の必要性が示された。
• 微調整の最良ハイパーパrameterは、ベース学習率$3 \times 10^{-5}$、$\alpha = 10$、$\beta = 0.2$（コアファクター解決用）であり、マックスマージン損失の有効性が確認された。