[論文レビュー] Self-Guided Contrastive Learning for BERT Sentence Representations

Taeuk Kim, Kang Min Yoo+1 more|arXiv (Cornell University)|Jun 3, 2021

Topic Modeling参考文献 33被引用数 10

ひとこと要約

本稿では、自己教師あり手法である自己ガイドドコントラスト学習（SG-CL）を提案する。この手法は、データ拡張を必要とせず、中間隠れ状態を自己生成された陽性サンプルとして用いることで、BERTの文表現を向上させる。複数の文類似度ベンチマークで最先端の性能を達成しており、STS-Bにおける平均スピアマン相関係数は74.62に達し、後処理の必要がないため推論効率も優れている。

ABSTRACT

Although BERT and its variants have reshaped the NLP landscape, it still remains unclear how best to derive sentence embeddings from such pre-trained Transformers. In this work, we propose a contrastive learning method that utilizes self-guidance for improving the quality of BERT sentence representations. Our method fine-tunes BERT in a self-supervised fashion, does not rely on data augmentation, and enables the usual [CLS] token embeddings to function as sentence vectors. Moreover, we redesign the contrastive learning objective (NT-Xent) and apply it to sentence representation learning. We demonstrate with extensive experiments that our approach is more effective than competitive baselines on diverse sentence-related tasks. We also show it is efficient at inference and robust to domain shifts.

研究の動機と目的

• [CLS]トークンや平均プーリングによる標準的なBERT文表現が、下流タスクで最適でない性能を示す問題に対処すること。
• データ拡張や外部の教師信号に依存せずに、BERTにおける文レベルの表現学習を改善すること。
• 内部BERT表現を陽性サンプルとして活用する対照学習フレームワークを設計し、自己ガイドドによる学習を実現すること。
• 後処理手順を排除することで、推論遅延を低減し、ドメインシフトに対してより強いモデルを構築すること。
• 自己ガイドドコントラスト学習が、精度と効率の両面で既存手法を上回ることを示すこと。

提案手法

• 中間BERT隠れ状態（複数層にわたる）を最終[CLS]表現の陽性サンプルとして扱う自己ガイドメカニズムを導入する。
• 文表現学習にNT-Xent対照損失を適応し、最終[CLS]埋め込みと中間表現との間の意味的類似性を最適化する。
• モデル自身の内部表現を教師信号として用いることで、自己教師ありの形でBERTを微調整する。
• モデル自身の隠れ状態を再利用することで、データ拡張を回避し、トレーニングとデプロイメントを簡素化する。
• 最終文埋め込みの作成に中間層の最大プーリングを適用し、アブレーションスタディによりその有効性を示す。
• [CLS]ベクトルが関連する中間表現と一致するよう促進するとともに、負例から分離するように変更された対照的目的関数を統合する。

実験結果

リサーチクエスチョン

• RQ1 内部BERT隠れ表現を効果的に自己生成陽性サンプルとして用いることで、文埋め込みの向上が可能か？
• RQ2 BERTに特化した対照学習目的関数は、文類似度タスクにおいて標準的なプーリングや微調整戦略を上回るか？
• RQ3 データ拡張や外部教師信号なしに、自己ガイドドコントラスト学習が最先端の性能を達成できるか？
• RQ4 既存ベースラインと比較して、推論効率とドメインシフトへの耐性において、提案手法はどのように差をつけるか？
• RQ5 バックトランスレーションなどの他の対照技術と組み合わせることで、さらなる性能向上が見込めるか？

主な発見

• 提案手法はSTS-Bベンチマークで74.62の平均スピアマン相関係数を達成し、[CLS]プーリング（62.63）や平均プーリング（63.19）のベースラインを著しく上回った。
• SG-OPTバージョンでは、STS-Bで77.23、STS15で81.56、STS14で80.13を記録し、複数のデータセットにわたる強力な一般化性能を示した。
• 推論において最も効率的で、トレーニング後に後処理を一切必要としない。一方、ベースラインはプーリングやその他の処理に依存している。
• 多様なNLPタスクにわたって高い性能を維持するなど、ドメインシフトに対して優れた耐性を示した。
• t-SNEを用いた可視化により、SG-OPTが陽性文ペアのクラスタリングを強化し、負のペアを埋め込み空間で分離していることが確認された。
• バックトランスレーションをアンサンブルに組み込むことで、STS-Bにおける平均スピアマン相関が75.10に向上し、技術の相乗効果が示された。