[論文レビュー] PromptBERT: Improving BERT Sentence Embeddings with Prompts

Ting Jiang, Jiao, Jian+8 more|arXiv (Cornell University)|Jan 12, 2022

Topic Modeling被引用数 12

ひとこと要約

PromptBERTは、静的トークン埋め込みバイアスと効果のないBERTレイヤーを軽減することで、BERTの文埋め込みを向上させるプロンプトベースの手法を提案する。テンプレートベースの対照的学習とテンプレートノイズ除去を導入し、教師なしおよび教師あり設定の両方で最先端の性能を達成し、BERTとRoBERTaの両方でSimCSEより2.29点および2.58点の向上を達成した。

ABSTRACT

We propose PromptBERT, a novel contrastive learning method for learning better sentence representation. We firstly analyze the drawback of current sentence embedding from original BERT and find that it is mainly due to the static token embedding bias and ineffective BERT layers. Then we propose the first prompt-based sentence embeddings method and discuss two prompt representing methods and three prompt searching methods to make BERT achieve better sentence embeddings. Moreover, we propose a novel unsupervised training objective by the technology of template denoising, which substantially shortens the performance gap between the supervised and unsupervised settings. Extensive experiments show the effectiveness of our method. Compared to SimCSE, PromptBert achieves 2.29 and 2.58 points of improvement based on BERT and RoBERTa in the unsupervised setting.

研究の動機と目的

• 元のBERTが文埋め込みで劣悪な性能を示す理由は、静的トークン埋め込みバイアスとBERTレイヤーの効果のない使用に起因するため、これを是正すること。
• 微調整を伴わず、BERTの全能力を活用するプロンプトベースの手法を開発し、手動によるバイアス除去を避け、意味のあるトークンを保持すること。
• テンプレートとテンプレートノイズ除去を用いた新しい対照的学習目的を導入することで、教師なし学習を改善し、バイアスを低減し、ポジティブペアの質を向上させること。
• 文表現学習における教師ありと教師なし設定の間の性能格差を是正すること。
• プロンプト工学が文埋め込みタスクにおいて微調整済みBERTベースラインを上回ることを示すこと。

提案手法

• テンプレートを用いてBERTが文埋め込みを生成するのを誘導するプロンプトベースの文表現手法を提案し、隠れ状態の単純なプーリングを置き換える。
• 2つのプロンプト表現手法を導入：テンプレートベースと連続的プロンプトチューニング。手動テンプレートが優れた性能を示した。
• 最適なテンプレートを特定するため、手動、T5生成、連続的プロンプトの3つのプロンプト探索戦略を採用。
• 複数のテンプレートをポジティブペアとして用いる、新しい教師なし対照的学習目的を開発。テンプレートノイズ除去により、バイアスのあるまたは関係のないトークンをフィルタリング。
• マスク言語モデル（MLM）を用いたテンプレートノイズ除去により、予測トークンを精錬。関係のない予測（例：'nothing'、'yes'）を除去し、意味的関連性を向上。
• 上位k個の予測トークンの重み付き平均（例：上位200個）を文埋め込みとして使用。ノイズ除去により、この表現手法の性能が顕著に向上した。

実験結果

リサーチクエスチョン

• RQ1 元のBERTは強力なアーキテクチャを備えているにもかかわらず、なぜ文埋め込みで劣悪な性能を示すのか？
• RQ2 プロンプトベースの手法は、微調整を伴わず、静的トークン埋め込みバイアスを軽減し、文表現の質を向上させることができるか？
• RQ3 ノイズ除去を伴うテンプレートベースの対照的学習は、教師なし文埋め込み性能の向上にどの程度効果的か？
• RQ4 テンプレートノイズ除去は、予測トークンのバイアスを低減し、文埋め込みの意味的質を向上させることができるか？
• RQ5 プロンプトベースの対照的学習は、訓練の安定性を向上させ、教師ありと教師なし設定の間の性能格差をどの程度是正できるか？

主な発見

• 元のBERTレイヤーは文埋め込みの質を低下させ、静的トークン埋め込みは頻度、ケース、サブワードバイアスを受けるが、最後のレイヤー表現よりも非均一性が低いため、依然として問題となる。
• 高頻度のサブワードや標点を除いた非バイアス付きトークンの平均埋め込みを用いる単純なベースラインは、GloVeを上回り、BERT-flow や BERT-whitening といった後処理手法と同等の性能を示した。
• 手動テンプレートを用いたプロンプトベースの文埋め込みは、標準的なBERTプーリングを著しく上回り、文類似度タスクにおいて一部の微調整済みBERTベースラインをも凌駕した。
• テンプレートノイズ除去により、MLMにおける上位k個の予測トークンの質が向上し、STSベンチマークにおける上位200個トークン埋め込みの平均スコアが56.19から60.39に上昇した。
• テンプレートノイズ除去を施した本手法は、教師なし設定でSTS-BベンチマークでBERT-baseで78.54 ± 0.15、RoBERTa-baseで79.15 ± 0.25のスコアを達成し、それぞれSimCSEを2.29点および2.58点上回った。
• PromptBERTは優れた訓練安定性を示し、最高と最悪の実行間の性能差が0.53%にとどまり、SimCSEの3.14%の差よりもはるかに小さいため、収束の一貫性が高かった。