[論文レビュー] Pretraining with Contrastive Sentence Objectives Improves Discourse Performance of Language Models

Dan Iter, Kelvin Guu+2 more|arXiv (Cornell University)|May 20, 2020

Topic Modeling参考文献 18被引用数 5

ひとこと要約

この論文では、与えられたアンカーメンテンスからk個離れた文を予測することで、トランスフォーマーに基づく言語モデルにおけるディス course表現を向上させる、対照的文レベル事前学習目的であるConponoを紹介する。Conponoは、DiscoEvalベンチマークでSOTAを達成し、一部のタスクで最大13%の絶対的向上を示した。また、パrameter数がBERT-Baseと同等のままBERT-Largeと同等の性能を達成し、RTE、COPA、ReCoRDといった非ディスコースタスクにおいても向上を示した。

ABSTRACT

Recent models for unsupervised representation learning of text have employed a number of techniques to improve contextual word representations but have put little focus on discourse-level representations. We propose CONPONO, an inter-sentence objective for pretraining language models that models discourse coherence and the distance between sentences. Given an anchor sentence, our model is trained to predict the text k sentences away using a sampled-softmax objective where the candidates consist of neighboring sentences and sentences randomly sampled from the corpus. On the discourse representation benchmark DiscoEval, our model improves over the previous state-of-the-art by up to 13% and on average 4% absolute across 7 tasks. Our model is the same size as BERT-Base, but outperforms the much larger BERT- Large model and other more recent approaches that incorporate discourse. We also show that CONPONO yields gains of 2%-6% absolute even for tasks that do not explicitly evaluate discourse: textual entailment (RTE), common sense reasoning (COPA) and reading comprehension (ReCoRD).

研究の動機と目的

• 文の順序、一貫性、距離に注目した新しい文間目的関数を導入することで、事前学習言語モデルにおけるディスコースレベル表現を向上させること。
• 自然言語理解において重要であるにもかかわらず、従来の事前学習目的におけるディスコースへの注目が限定的であるという問題に取り組むこと。
• 対照的かつ双方向的な文予測目的が、ディスコース固有のタスクおよび一般NLPタスクの両方のパフォーマンス向上に寄与することを示すこと。
• ディスコースに配慮した事前学習が、テキスト entailsment や読解といった、ディスコースを明示的に評価しないタスクに対しても効果をもたらすことを示すこと。

提案手法

• モデルはトランスフォーマーエンコーダを用いて、アンカーメンテンスとその両方向にk個離れたターゲット文を同時にエンコードする。
• アンカーメンテンスが与えられたとき、正しいターゲット文を、正例と負例を対比するサンプリングソフトマックス目的関数を用いて予測する。
• 負例には、同じパラグラフからの近接文（ハードネガティブ）と、コーパスからランダムに抽出された文（イージーネガティブ）が含まれる。
• この目的関数は、対照的予測コーディング（CPC）にインspiredされているが、文単位で動作し、アンカーとターゲット間のクロスアテンションを用いることで表現学習を向上させる。
• モデルは、提案されたConpono目的関数と標準的なマスクされた言語モデル（MLM）目的関数の両方を用いて事前学習され、局所的な語レベル表現を保持する。
• 最終的なモデルは、BERT-Baseと同一のアーキテクチャとパラメータ数を採用しており、BERT-Largeのような大きなモデルと直接比較可能である。

実験結果

リサーチクエスチョン

• RQ1 対照的文レベル目的が、事前学習言語モデルにおけるディスコース表現を向上させることができるか？
• RQ2 k距離予測タスクを通じて文の順序と一貫性を学習することで、ディスコース固有のベンチマークでのパフォーマンスが向上するか？
• RQ3 ディスコースに配慮した事前学習が、テキスト entailsment や読解といった非ディスコースタスクに対しても向上をもたらすか？
• RQ4 アンカーとターゲット文間のクロスアテンションの導入が、表現品質にどのように影響するか？
• RQ5 Conponoによるパフォーマンス向上は、目的自体の効果によるものか、窓サイズや補助的なMLM学習といったアーキテクチャ的選択によるものか？

主な発見

• ConponoはDiscoEvalベンチマークで新たなSOTAを達成し、個々のタスクで最大13%の絶対的向上を示し、全7タスクの平均で4%向上した。
• パrameter数がBERT-Baseと同等であるにもかかわらず、BERT-Largeを上回るパフォーマンスを示した。これは、ディスコース事前学習がモデルサイズを増やさずに顕著な向上をもたらす可能性を示している。
• RTE、COPA、ReCoRDの非ディスコースタスクにおいて、2%〜6%の絶対的向上を示した。これは、ディスコース固有の評価を超えた広範な利点があることを示している。
• アブレーションスタディの結果、アンカーとターゲット文間のクロスアテンションがパフォーマンス向上の鍵要因であることが判明。窓サイズが2以上の場合、より良い結果が得られた。
• DiscoEval内での文の順序タスクにおいて、モデルが最も高いパフォーマンスを示した。これは、相対的な文の位置関係と一貫性を効果的に学習していることを示している。
• Conponoとマスクド言語モデル目的の組み合わせが、単独で使用する場合よりも強力な表現を生成することを示した。