[論文レビュー] Supporting Clustering with Contrastive Learning

Dejiao Zhang, Nan Feng+7 more|arXiv (Cornell University)|Mar 24, 2021

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 8

ひとこと要約

本稿では、インスタンスワイズの対照的学習とクラスタリングの目的関数を統合して最適化することで、自己教師あり短文クラスタリングの性能を向上させる、エンド・ツー・エンドの新規フレームワーク「サポートクラスタリングによる対照的学習（SCCL）」を提案する。対照的学習によりクラスタ間の分離性を向上させ、クラスタリングによりクラスタ内の凝集性を高めることで、ベンチマークデータセット上で最先端の性能を達成し、Accuracyが3%-11%、Normalized Mutual Information（NMI）が4%-15%向上した。

ABSTRACT

Unsupervised clustering aims at discovering the semantic categories of data according to some distance measured in the representation space. However, different categories often overlap with each other in the representation space at the beginning of the learning process, which poses a significant challenge for distance-based clustering in achieving good separation between different categories. To this end, we propose Supporting Clustering with Contrastive Learning (SCCL) -- a novel framework to leverage contrastive learning to promote better separation. We assess the performance of SCCL on short text clustering and show that SCCL significantly advances the state-of-the-art results on most benchmark datasets with 3%-11% improvement on Accuracy and 4%-15% improvement on Normalized Mutual Information. Furthermore, our quantitative analysis demonstrates the effectiveness of SCCL in leveraging the strengths of both bottom-up instance discrimination and top-down clustering to achieve better intra-cluster and inter-cluster distances when evaluated with the ground truth cluster labels.

研究の動機と目的

• 高次元データにおける距離ベースのクラスタリングを阻害する、表現空間内での意味的カテゴリの重複という課題に対処すること。
• ノイズ、スパarsity、限られた教師信号を伴う自己教師あり短文クラスタリングの性能を向上させること。
• 下位から上位へのインスタンスワイズの対照的学習と、上位から下位へのクラスタリングを統合し、クラスタ内凝集性とクラスタ間分離性の両方を向上させること。
• 自然言語処理分野における対照的学習に適したテキスト増強戦略を特定すること。
• 従来の深層クラスタリング手法で一般的なマルチステージ学習を回避する、より単純なエンド・ツー・エンドのフレームワークを構築すること。

提案手法

• SCCLは、元のテキストインスタンスに対するクラスタリング損失と、増幅されたデータペアに対するインスタンスワイズの対照的損失を同時に最適化する。
• フレームワークは、WordNetの同義語置換、BERT/RoBERTaによる文脈的単語置換、およびバックトランスレーションベースの並列表現生成といったデータ増幅技術を用い、ポジティブペアを生成する。
• 対照的学習は、同じテキストの増幅ビューの表現を引き寄せつつ、異なるテキストの表現を遠ざける。
• クラスタリング損失は、埋め込み空間内での同じ意味的カテゴリに属するサンプルの密集を促進する。
• 同じバックボーンが元の入力と増幅された入力を処理する二重ヘッドアーキテクチャを用いてエンド・ツー・エンドで学習する。
• 複数の増幅法を組み合わせた際の有効性を評価したところ、意味的ずれ（semantic drift）の影響が顕著になるため、非常に短いテキストでは性能が低下することが判明した。

実験結果

リサーチクエスチョン

• RQ1 インスタンスワイズの対照的学習は、表現空間におけるクラスタ間分離性を向上させることで、クラスタリング性能を有効に改善できるか？
• RQ2 下位から上位への対照的学習と上位から下位へのクラスタリング損失を組み合わせることで、クラスタ内凝集性とクラスタ間分離性にどのような影響を与えるか？
• RQ3 自然言語処理分野における対照的学習に最も効果的なポジティブペアを生成するテキスト増幅戦略は何か？
• RQ4 複数の増幅法を組み合わせることで性能が向上するか、それとも特に短文クラスタリングにおいて意味的ずれのリスクが高まるか？
• RQ5 マルチステージアプローチと比較して、SCCLはより単純なエンド・ツー・エンドの学習パラダイムで最先端の結果を達成できるか？

主な発見

• SCCLは8つのベンチマーク短文クラスタリングデータセットで最先端の性能を達成し、Accuracyが3%-11%、Normalized Mutual Information（NMI）が4%-15%向上した。
• BERT/RoBERTaを用いた文脈的増幅法（Contextual Augmenter）は、WordNetやバックトランスレーションベースの増幅法よりも優れた性能を示した。これは、より意味的に適切な摂動をもたらすためである。
• 複数の増幅法を組み合わせることで、より長いテキスト（例：GoogleNews-TS）では性能が向上したが、短いテキスト（例：StackOverflow）では意味的ずれの影響が顕著で、性能が低下した。
• t-SNE可視化の結果、SCCLはベースラインモデルと比較して、クラスタ間の重複を顕著に低減し、クラスタの純度を向上させた。
• アブレーションスタディの結果、対照的損失とクラスタリング損失が相乗的に作用し、より良いクラスタ内・クラスタ間距離を実現していることが確認された。
• 本フレームワークは、さまざまなテキストクラスタリングタスクに汎用的かつ効果的であり、他のモodalitiyへの応用の可能性を有する。