[論文レビュー] An Information Minimization Based Contrastive Learning Model for Unsupervised Sentence Embeddings Learning

Shaobin Chen, Jie Zhou+2 more|arXiv (Cornell University)|Sep 22, 2022

Topic Modeling被引用数 5

ひとこと要約

本稿では、正例文ペア間の冗長な情報を削減するために対照学習と再構成目的を組み合わせることでエントロピーを低減する、自己教師付き文埋め込みのための対照学習フレームワークであるInforMin-CLを提案する。この手法は、バックボーンネットワークを変更せずにアライメントと表現品質を向上させることで、14の下流タスクで最先端の性能を達成する。

ABSTRACT

Unsupervised sentence embeddings learning has been recently dominated by contrastive learning methods (e.g., SimCSE), which keep positive pairs similar and push negative pairs apart. The contrast operation aims to keep as much information as possible by maximizing the mutual information between positive instances, which leads to redundant information in sentence embedding. To address this problem, we present an information minimization based contrastive learning (InforMin-CL) model to retain the useful information and discard the redundant information by maximizing the mutual information and minimizing the information entropy between positive instances meanwhile for unsupervised sentence representation learning. Specifically, we find that information minimization can be achieved by simple contrast and reconstruction objectives. The reconstruction operation reconstitutes the positive instance via the other positive instance to minimize the information entropy between positive instances. We evaluate our model on fourteen downstream tasks, including both supervised and unsupervised (semantic textual similarity) tasks. Extensive experimental results show that our InforMin-CL obtains a state-of-the-art performance.

研究の動機と目的

• 自己教師付き文埋め込み学習において、正例文ペア間の冗長な情報の問題に対処すること。
• ストップワード、再表現、スタイルの変化などのノイズを除外し、有用な情報を保持することで、下流タスクのパフォーマンスを向上させること。
• 情報最小化の原則を組み込むことで対照学習を強化する、モデルに依存しない手法を開発すること。
• 再構成に基づく情報最小化が正例インスタンス間のエントロピーを効果的に低減することを示すこと。

提案手法

• モデルは、正例文ペア間の相互情報量を最大化する対照的目的を用い、それらを埋め込み空間で近づける。
• 再構成目的を導入し、文ペアの一方のビューが他方を再構成することで、それら間の情報エントロピーを最小化する。
• 再構成タスクは、モデルが最小限の共有表現のみを学習するよう促すことで、情報最小化を暗黙的に強制する。
• この手法は最小限のアーキテクチャ的変更で実装されており、任意のBERTベースのモデルおよび対照学習フレームワークと互換性がある。
• 訓練目的は対照損失と再構成損失を組み合わせており、それらの間のトレードオフを制御するハイパーパrameter β を用いる。
• このアプローチはモデルに依存せず、ファインチューニングやアーキテクチャの変更を除き、再構成ヘッドを追加するのみである。

実験結果

リサーチクエスチョン

• RQ1 再構成による情報最小化は、冗長な情報を低減させることで、自己教師付き文埋め込みの品質を向上させることができるか？
• RQ2 正例文ペア間のエントロピーを最小化することは、標準的な対照学習と比較して、下流タスクのパフォーマンスにどのように影響するか？
• RQ3 再構成目的は、文表現のアライメントと一様性をどの程度向上させるか？
• RQ4 対照と再構成に基づくシンプルで即座に適用可能な手法が、アーキテクチャの変更なしに最先端の結果を達成できるか？
• RQ5 異なる再構成損失重み（β）の影響は、教師ありおよび教師なしタスクのパフォーマンスにどのように現れるか？

主な発見

• InforMin-CLは、7つの教師ありおよび7つの教師なし下流タスクで最先端の性能を達成し、SimCSE や他の最先端手法を上回る。
• β = 0.1 を用いた場合、平均的な教師ありタスクではスピアマン相関が 86.96、平均的な教師なしタスクでは 63.25 を達成する。
• t-SNE ビジュアライゼーションでは、InforMin-CL が SimCSE や SCD と比較して、より密にクラスタリングされ、整合性のある文表現を生成していることが示された。
• 再構成目的はアライメントを著しく向上させ（0.143）、競争力のある一様性を維持し、より優れた表現品質に寄与している。
• アブレーションスタディでは、再構成目的が不可欠であることが確認され、これを削除すると平均的な教師ありパフォーマンスが 86.96 から 85.52 に低下した。
• この手法はさまざまなバッチサイズに対して頑健であり、最適なパフォーマンスは 256 のときであり、バッチサイズの変動に関わらず一貫した向上が見られた。