[論文レビュー] CERT: Contrastive Self-supervised Learning for Language Understanding

Hongchao Fang, Sicheng Wang+3 more|arXiv (Cornell University)|May 16, 2020

Topic Modeling被引用数 9

ひとこと要約

CERTは、逆翻訳を用いた文単位の増幅を介して、BERTに類似したモデルを事前学習するための対照的自己教師あり学習手法を提案する。2つの増幅文が同じ元の文から来ているかどうかを予測することで、CERTは文単位の意味を向上させ、GLUEの11タスク中7つでBERTを上回り、平均スコアが向上した。

ABSTRACT

Pretrained language models such as BERT, GPT have shown great effectiveness in language understanding. The auxiliary predictive tasks in existing pretraining approaches are mostly defined on tokens, thus may not be able to capture sentence-level semantics very well. To address this issue, we propose CERT: Contrastive self-supervised Encoder Representations from Transformers, which pretrains language representation models using contrastive self-supervised learning at the sentence level. CERT creates augmentations of original sentences using back-translation. Then it finetunes a pretrained language encoder (e.g., BERT) by predicting whether two augmented sentences originate from the same sentence. CERT is simple to use and can be flexibly plugged into any pretraining-finetuning NLP pipeline. We evaluate CERT on 11 natural language understanding tasks in the GLUE benchmark where CERT outperforms BERT on 7 tasks, achieves the same performance as BERT on 2 tasks, and performs worse than BERT on 2 tasks. On the averaged score of the 11 tasks, CERT outperforms BERT. The data and code are available at https://github.com/UCSD-AI4H/CERT

研究の動機と目的

• 従来の事前学習手法がトークン単位の予測タスクに焦点を当てているため、文全体の意味的構造を十分に捉えられていないという限界に対処する。
• 予測タスクをトークンレベルから文レベルに移行させることで、言語表現学習を向上させる。
• 既存のBERTスタイルのモデルおよび微調整パイプラインと互換性がある柔軟でプラグイン可能な事前学習手法を開発する。
• 自然言語理解における文単位の対照的自己教師あり学習の有効性を示す。
• 増幅戦略および事前学習コーパスのソースがモデル性能に与える影響をアブレーションスタディを通じて調査する。

提案手法

• 逆翻訳を用いて文単位のデータ増幅を生成する：元の文を目的言語に翻訳し、再び元の言語に逆翻訳することで、意味的に類似したが表現が異なるバージョンを得る。
• モーメンタム対照（MoCo）を用いて対照的自己教師あり学習を実行し、各増幅文をクエリとし、他の増幅文をキーとする。
• 正例ペアを、同じ元の文から得た2つの増幅文と定義する。負例ペアは、異なる元の文から得たものとする。
• 対照的損失を用いて、正例ペア間の類似度を最大化し、負例ペア間の類似度を最小化するようにモデルを学習する。
• 標準的な微調整手法を用いて、ラベル付きデータで得られたCERTモデルを下流NLPタスクで微調整する。
• CERTを任意の事前学習済みエンコーダー（例：BERT、BART、RoBERTa）に適用可能な柔軟なモジュールとして統合する。

実験結果

リサーチクエスチョン

• RQ1 文単位の対照的自己教師あり学習は、トークン単位の事前学習と比較して、言語表現を向上させることができるか？
• RQ2 逆翻訳に基づく文単位の増幅は、他の増幅戦略と比較して、頑健な文表現を学習する上で効果的か？
• RQ3 事前学習コーパスの選択がCERTフレームワークの性能に影響を与えるか？
• RQ4 標準的なBERT事前学習と比較して、CERTは下流NLUタスクでより良い一般化性能を達成できるか？
• RQ5 文単位の対照的学習目的は、トークン単位の目的と比較して、グローバルな意味的構造を捉えるのにより効果的か？

主な発見

• CERTはGLUEベンチマークの11タスク中7つでBERTを上回り、特にSST-2、QNLI、RTEで顕著な改善を示した。
• 11のGLUEタスクの平均スコアにおいて、CERTはBERTを上回り、全体的な言語理解力の向上が一貫して得られた。
• 2つのタスク（WNLIおよびWNLI-SNLI）では、CERTはBERTと同等の性能を達成しており、困難な意味的類似度タスクでも競争力があることを示した。
• 2つのタスク（WNLIおよびWNLI-SNLI）では、CERTはBERTより性能が劣ったが、これはタスク固有の特性や増幅ノイズへの感受性を示唆している。
• アブレーションスタディの結果、CERTの性能は事前学習コーパスの選択および使用する逆翻訳増幅の数に敏感であることが判明した。
• この手法はプラグインモジュールとして効果的である：CERTは任意の事前学習済みエンコーダーに適用可能であり、アーキテクチャの変更なしに性能向上を達成した。