[論文レビュー] Non-Linguistic Supervision for Contrastive Learning of Sentence Embeddings

Yiren Jian, Chong Gao+1 more|arXiv (Cornell University)|Sep 20, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、テキストと非言語的データ（画像または音声）をペアにしない状態で共同で学習することで文埋め込みを向上させる、マルチモーダルでマルチタスクな対照的学習フレームワーク、VisualCSE および AudioCSE を提案する。非ペアの視覚的・音声的データを活用することで、劣化したまたは最適でない NLI データセットを用いた教師あり SimCSE でさえも上回る性能を達成し、意味的テキスト類似度ベンチマークで優れた性能を発揮する。

ABSTRACT

Semantic representation learning for sentences is an important and well-studied problem in NLP. The current trend for this task involves training a Transformer-based sentence encoder through a contrastive objective with text, i.e., clustering sentences with semantically similar meanings and scattering others. In this work, we find the performance of Transformer models as sentence encoders can be improved by training with multi-modal multi-task losses, using unpaired examples from another modality (e.g., sentences and unrelated image/audio data). In particular, besides learning by the contrastive loss on text, our model clusters examples from a non-linguistic domain (e.g., visual/audio) with a similar contrastive loss at the same time. The reliance of our framework on unpaired non-linguistic data makes it language-agnostic, enabling it to be widely applicable beyond English NLP. Experiments on 7 semantic textual similarity benchmarks reveal that models trained with the additional non-linguistic (images/audio) contrastive objective lead to higher quality sentence embeddings. This indicates that Transformer models are able to generalize better by doing a similar task (i.e., clustering) with unpaired examples from different modalities in a multi-task fashion.

研究の動機と目的

• 高品質な NLI データセットが多数必要となる教師あり対照的学習の高い依存度に対処すること。特に、低リソース言語ではそのようなデータセットが高価であったり、入手不可能だったりする。
• 非ペアの非言語的データ（例：画像、音声）が、文埋め込み学習の有効な教師信号として機能するかを検討すること。
• ペア化されたテキスト・モダリティデータを必要としない、言語に依存しないフレームワークを構築し、文表現の質を向上させること。
• マルチモーダルでマルチタスクな対照的学習が、文埋め込みモデルの一般化性能およびロバスト性を向上させるかを調査すること。
• 非言語的教師信号が、対照的学習における低品質または小規模な NLI データセットの欠如を補うことができるかを実証すること。

提案手法

• テキスト（標準的な SimCSE 損失を用いる）と非ペアの非言語的データ（画像または音声）の2つの独立した対照的学習タスクに、共有された Transformer エンコーダーを訓練する。
• テキスト入力を処理するための BERT ベースのテキストエンコーダーと、視覚的入力には Vision Transformer (ViT) や音声入力には音声エンコーダーを別々に用い、その後で共有エンコーダーに供給する。
• 両モダリティに対して、SimCLR の対照的損失を独立して適用する：同じ例の増強されたビューをクラスタリングし、異なる例どうしを分離する。
• 公開データセット（例：Wikipedia + ImageNet、LibriSpeech）から得た非ペアのデータを用いて、テキストと非言語的対照的目的を統合したマルチタスク損失により、モデルをエンドツーエンドで訓練する。
• クロスモダリティのアライメントやペアリングを一切行わないことで、モダリティの独立性を確保し、スケーラブルで言語に依存しない方法とする。
• 最終的な文埋め込みとして、共有エンコーダーの [CLS] テンキーを用いる。

実験結果

リサーチクエスチョン

• RQ1 非ペアの非言語的データ（画像または音声）は、教師なし設定において文埋め込みの質を向上させる有効な教師信号として機能するか？
• RQ2 NLI データセットがノイズ混じりまたは小規模な場合に、マルチモーダルでマルチタスクな対照的学習は、テキストのみの対照的学習よりも一般化性能が優れているか？
• RQ3 非言語的教師信号は、高品質なラベル付き NLI データの欠如をどの程度補うことができるか？
• RQ4 非言語的教師信号の導入が、文埋め込みの代表的性質（整合性と一様性）にどのように影響を与えるか？
• RQ5 本手法は、言語に依存しない設計ゆえに、リソースが限られた言語でも適用可能で効果的であるか？

主な発見

• VisualCSE および AudioCSE は、7つの意味的テキスト類似度ベンチマークで、教師なしおよび教師あり SimCSE をすべて上回り、非言語的教師信号の有効性を実証した。
• 教師あり SimCSE で使用する NLI データセットに 40% のランダム削除を加えた場合、VisualCSE がそれを上回ることを示し、非言語的教師信号が低品質なラベル付きデータの欠如を補う可能性を示した。
• 非言語的教師信号を用いて訓練されたモデルは、テキストのみの SimCSE よりも高い整合性（正例ペア間の距離が小さい）を示し、意味的に類似した文がよりよくクラスタリングされることを確認した。
• より高い整合性を示す一方で、VisualCSE は SimCSE よりも一様性が低いことが判明し、埋め込み空間の特定領域に表現がより集中していることを示唆した。
• ParaNMT や QQP のようなノイズ混じりまたは最適でないデータセットで訓練された教師あり SimCSE は性能が著しく低下するが、VisualCSE は安定した高い性能を維持した。
• 本手法は言語に依存せず、ペア化されたデータを必要としないため、高品質な NLI データが入手困難な低リソース言語の環境でも展開可能である。