[論文レビュー] Virtual Augmentation Supported Contrastive Learning of Sentence Representations

Dejiao Zhang, Wei Xiao+3 more|arXiv (Cornell University)|Oct 16, 2021

Topic Modeling被引用数 6

ひとこと要約

本稿では、表現空間内の各インスタンスのバッチ内近傍（K近傍）を活用して仮想的データ拡張を生成することにより、非教師付き文表現学習のための新規手法 Virtual Augmentation Supported Contrastive Learning (VaSCL) を提案する。この近傍に基づく敵対的インスタンス識別タスクを定式化することで、特に明示的なテキスト拡張が用いられる状況においても、SimCSE や他の先行手法を上回る最先端の性能を達成する。

ABSTRACT

Despite profound successes, contrastive representation learning relies on carefully designed data augmentations using domain specific knowledge. This challenge is magnified in natural language processing where no general rules exist for data augmentation due to the discrete nature of natural language. We tackle this challenge by presenting a Virtual augmentation Supported Contrastive Learning of sentence representations (VaSCL). Originating from the interpretation that data augmentation essentially constructs the neighborhoods of each training instance, we in turn utilize the neighborhood to generate effective data augmentations. Leveraging the large training batch size of contrastive learning, we approximate the neighborhood of an instance via its K-nearest in-batch neighbors in the representation space. We then define an instance discrimination task regarding this neighborhood and generate the virtual augmentation in an adversarial training manner. We access the performance of VaSCL on a wide range of downstream tasks, and set a new state-of-the-art for unsupervised sentence representation learning.

研究の動機と目的

• テキストの離散的性質のため、NLP における効果的で汎用的なデータ拡張を設計することが難しいという課題に対処すること。
• ヒューリスティックなルールに依存しがちな従来の明示的テキスト拡張戦略の限界を克服すること。
• 表現空間内の近傍構造を活用して、より効果的な仮想的拡張を生成することで、非教師付き文表現学習を改善すること。
• タスク固有のアノテーションに依存せずに、多様な NLP ベンチマークにおけるゼロショット転移学習で最先端の性能を達成すること。

提案手法

• VaSCL は、データ拡張を訓練インスタンスの周囲に近傍を構築することとみなした上で、このプロセスを逆転させ、近傍から拡張を生成する。
• 与えられたインスタンスの近傍を、表現空間内での同じ訓練バッチ内の K 個の近隣者を用いて近似する。
• 対話的訓練手順を用いて、元のインスタンスに意味的に近いが、対照学習におけるポジティブペアとして機能するのに十分に異なる仮想的拡張を生成する。
• 標準的なドロップアウトベースの拡張（SimCSE と同様）を用いる対照的目的と、生成された仮想的拡張を用いる対照的目的の2つを組み合わせる。
• 仮想的拡張は、対照的損失を介してエンドツーエンドで最適化され、モデルが元の表現と仮想的拡張表現を区別するよう促される。
• 十分なバッチ内近傍の多様性を確保するため、大規模バッチサイズでフレームワークを訓練することで、頑健な近傍近似が可能になる。

実験結果

リサーチクエスチョン

• RQ1 表現空間内のインスタンスの近傍構造に基づいて仮想的データ拡張を生成することで、非教師付き文表現学習を改善できるか？
• RQ2 なぜ明示的テキスト拡張戦略は、対照学習において単純なドロップアウトベースの拡張と比較してしばしば性能が劣るのか？
• RQ3 バッチ内近傍を活用して仮想的拡張を生成することは、より良い意味的クラスタリングと表現分散をもたらすか？
• RQ4 仮想的拡張は、ノイズが多いまたは弱い明示的テキスト拡張が下流タスクの性能に与える悪影響を緩和できるか？
• RQ5 言語的多様性と意味的整合性は、仮想的拡張と明示的拡張の有効性にどのような役割を果たすか？

主な発見

• VaSCL は、幅広い下流 NLP タスクで最先端の性能を達成し、常に以前の非教師付き文表現モデルを上回る。
• 近傍誘導による仮想的拡張は、全評価タスクで、全明示的テキスト拡張戦略（例：語の削除、同義語置換、文脈的置換）を顕著に上回る。
• SimCSE も VaSCL も、明示的テキスト拡張と組み合わせると性能が低下するため、このような拡張がノイズをもたらし、表現の多様性を制限することが示唆される。
• VaSCL が学習する表現空間は、コサイン類似度分析の結果から、より分散されており、複数の粒度で意味的特徴を効果的に表現している。
• 仮想的拡張を用いて訓練されたモデルは、明示的拡張を用いるモデルと比較して、元の表現と拡張表現の間のコサイン類似度が低く抑えられており、より効果的で多様なポジティブペアが得られていることが示唆される。
• ドロップアウトをベースラインの拡張戦略として用いることで、明示的手法を上回る性能が得られるため、NLP における効果的なテキストレベル変換を設計することが難しいことが強調される。