[論文レビュー] TaCL: Improving BERT Pre-training with Token-aware Contrastive Learning

Yixuan Su, Fangyu Liu+5 more|arXiv (Cornell University)|Nov 7, 2021

Natural Language Processing Techniques被引用数 11

ひとこと要約

本稿では、マスクされたトークン表現を、固定された教師モデルからのリファレンス表現と対比することで、より等方的で判別力のあるトークン埋め込みを学習する、新しい継続的事前学習手法TaCLを提案する。この手法により、追加データを必要とせず、英語および中国語の多様なNLUベンチマークで一貫した性能向上が達成される。

ABSTRACT

Masked language models (MLMs) such as BERT and RoBERTa have revolutionized the field of Natural Language Understanding in the past few years. However, existing pre-trained MLMs often output an anisotropic distribution of token representations that occupies a narrow subset of the entire representation space. Such token representations are not ideal, especially for tasks that demand discriminative semantic meanings of distinct tokens. In this work, we propose TaCL (Token-aware Contrastive Learning), a novel continual pre-training approach that encourages BERT to learn an isotropic and discriminative distribution of token representations. TaCL is fully unsupervised and requires no additional data. We extensively test our approach on a wide range of English and Chinese benchmarks. The results show that TaCL brings consistent and notable improvements over the original BERT model. Furthermore, we conduct detailed analysis to reveal the merits and inner-workings of our approach.

研究の動機と目的

• 事前学習済みBERTモデルにおけるトークン表現の非等方的分布が、その判別力に制限をもたらす問題に対処すること。
• 転移学習を目的としたNLUタスクにおける汎用的トークンレベル表現の質を向上させること。
• 表現の多様性と判別性を、トークンレベルで向上させる完全に自己教師付きの継続的事前学習手法を開発すること。
• トークンレベルでの対比学習が、従来の文レベル対比学習手法よりも、下流のNLUタスクでより大きな利益をもたらすことを示すこと。
• 提案手法の内部メカニズムと表現空間幾何構造への影響を、実証的およびアブレーション分析を通じて明らかにすること。

提案手法

• 学生モデルは事前学習済みBERTから初期化され、マスク言語モデル（MLM）、次文予測（NSP）、および新しいTaCL対比損失の3つの目的関数を用いて継続的に微調整される。
• 固定された教師モデルは、元のマスクなし入力系列を処理し、各トークンのリファレンス表現を生成する。
• TaCL損失は、学生モデルのマスクトークン表現と、同じトークンの教師モデルの表現（ポジティブ例）を対比し、同じ系列内の他のトークンの表現（ネガティブ例）とも対比する。この対比にはコサイン類似度が用いられる。
• 対比目的関数は次のように定義される：$\mathcal{L}_{\textup{TaCL}} = -\sum_{i=1}^{n}\mathds{1}(\tilde{x}_{i})\log\frac{\exp(\textup{sim}(\tilde{h}_{i},h_{i})/\tau)}{\sum_{j=1}^{n}\exp(\textup{sim}(\tilde{h}_{i},h_{j})/\tau)}$、ここで$\mathds{1}(\tilde{x}_{i})$はトークン$i$がマスクされている場合に1である。
• 全体の損失はTaCL、MLM、NSPの合算で表される：$\mathcal{L} = \mathcal{L}_{\textup{TaCL}} + \mathcal{L}_{\textup{MLM}} + \mathcal{L}_{\textup{NSP}}$。
• この手法は完全に自己教師付きであり、追加データを一切必要とせず、元の事前学習コーパスのみを用いる。

実験結果

リサーチクエスチョン

• RQ1 トークンレベルでの対比学習は、BERTの表現の判別性を向上させることができるか？
• RQ2 等方的トークン表現を学習することは、多様なNLUベンチマークでの性能向上に寄与するか？
• RQ3 下流タスクへの転移性能の観点から、TaCLは最先端の文レベル対比学習手法と比べてどのように差をつけるか？
• RQ4 TaCLは、学習された表現空間の幾何構造にどのような影響を与えるか？
• RQ5 提案手法は、英語および低リソース中国語NLUタスクの両方で性能向上を達成できるか？

主な発見

• TaCLは、GLUE、SQuAD 1.1、SQuAD 2.0、およびさまざまなNERおよびCWSタスクを含む、広範な英語および中国語NLUベンチマークで、BERTを一貫して顕著に上回る性能を達成する。
• GLUEベンチマークでは、BERT-baseの平均スコアが85.4から86.7に向上し、9つのタスクのうち7つで向上を記録。特にCoLAでは2.1ポイント、SST-2では1.3ポイントの向上を示した。
• SQuAD 1.1では、BERT-baseのF1が91.8から92.6に、EMが88.5から89.2に向上し、抽出型QAタスクで顕著な改善が確認された。
• 中国語NERタスクでは、OntonotesではF1が2.1ポイント向上、Resumeでは1.8ポイント向上を達成し、BERT-baseを上回った。
• 自己類似度行列の可視化により、TaCLはBERTよりも等方的で判別性の高いトークン表現を生成することが確認され、異なるトークン間の分離が明確になった。
• アブレーションスタディの結果、TaCL目的関数が性能向上の主な要因であり、特にトークンレベルの下流タスクにおいて、文レベル対比学習を上回ることが示された。