[論文レビュー] ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer

Yuanmeng Yan, Rumei Li+4 more|arXiv (Cornell University)|May 25, 2021

Topic Modeling参考文献 36被引用数 47

ひとこと要約

ConSERT は、コントラスト学習目的とデータ拡張を用いて BERT をファインチューニングし、崩れた文表現を修正します。教師なし・有教師設定の両方で最先端の STS パフォーマンスを達成し、データ不足の状況でもロバスト性を示します。

ABSTRACT

Learning high-quality sentence representations benefits a wide range of natural language processing tasks. Though BERT-based pre-trained language models achieve high performance on many downstream tasks, the native derived sentence representations are proved to be collapsed and thus produce a poor performance on the semantic textual similarity (STS) tasks. In this paper, we present ConSERT, a Contrastive Framework for Self-Supervised Sentence Representation Transfer, that adopts contrastive learning to fine-tune BERT in an unsupervised and effective way. By making use of unlabeled texts, ConSERT solves the collapse issue of BERT-derived sentence representations and make them more applicable for downstream tasks. Experiments on STS datasets demonstrate that ConSERT achieves an 8\% relative improvement over the previous state-of-the-art, even comparable to the supervised SBERT-NLI. And when further incorporating NLI supervision, we achieve new state-of-the-art performance on STS tasks. Moreover, ConSERT obtains comparable results with only 1000 samples available, showing its robustness in data scarcity scenarios.

研究の動機と目的

• 意味空間の崩壊により、ネイティブな BERT 埋め込みを超える高品質な文表現の必要性を動機づける。
• 追加推論コストなしで文表現を再構成する対照的な自己教師付きファインチューニングフレームワークを提案する。
• 対照学習のビューペアを生成するデータ拡張戦略を探索する。
• 自己教師ありのファインチューニングと拡張された監督信号（例：NLI）を用いた有効性を示す。
• 少数ショットデータシナリオでのロバスト性を示し、埋め込み空間の変化を分析する。

提案手法

• 共有 BERT エンコーダの上に SimCLR に似た対照的目的関数（NT-Xent）を採用する。
• トークン埋め込み層で適用されるデータ拡張を介して、文ごとに2つのビューを生成する。
• 最後の層のトークン埋め込みを平均して文表現を取得し、同じ文のビューを引き寄せ、同一バッチ内の他のビューを離す対照損失を適用する。
• 4つの拡張戦略を検討する：敵対的攻撃（監視付きのみ）、トークンシャッフル、トークン/特徴カットオフ、ドロップアウト。
• NLI を介した監督信号を、ジョイント、sup-unsup、またはジョイント-unsup の学習方式で任意に取り入れる。
• STS データセットでのパフォーマンスを Spearman 相関で報告し、拡張とハイパーパラメータのアブレーションを提供する。

実験結果

リサーチクエスチョン

• RQ1 対照的自己教師付き学習は、STS タスクにおける BERT の文表現崩壊を克服できるか？
• RQ2 さまざまなデータ拡張戦略は未監視の文転送性能にどう影響するか？
• RQ3 監督を取り入れた（例：NLI）+ 未監督転送は STS で最先端の結果を生み出すか？
• RQ4 データ不足のシナリオ（未ラベル例が少ない場合）での Downstream STS タスクにおける ConSERT の堅牢性はどの程度か？

主な発見

手法	STS12	STS13	STS14	STS15	STS16	STSb	SICK-R	平均
ConSERT base	64.64	78.49	69.07	79.72	75.95	73.97	67.31	72.74
ConSERT large	70.69	82.96	74.13	82.78	76.66	77.53	70.37	76.45

• ConSERT large は無監督 STS のパフォーマンスで最良を達成し、平均で BERT-flow より相対的に 8% のゲインを得た。
• ConSERT large はいくつかの監督付きベースラインを上回り、無監督設定では SBERT-NLI と競合する。
• NLI 監督付きの結合転送と無監督転送は、監督付き設定で新しい最先端の STS パフォーマンスをもたらす。
• わずか 1000 個の未ラベルサンプルでも ConSERT は堅牢で完全データに近づく。少数ショットの結果はベースラインより大幅な改善を示す。
• データ拡張戦略の Shuffle と Token Cutoff は特に効果的で、Feature Cutoff との組み合わせが性能を高める。
• 埋め込み空間の分析は、ConSERT が頻出トークンの優勢を抑え、崩壊を緩和することを示す。