[論文レビュー] C3: Cross-instance guided Contrastive Clustering

Mohammadreza Sadeghi, Hadi Hojjati+1 more|arXiv (Cornell University)|Nov 14, 2022

COVID-19 diagnosis using AI被引用数 11

ひとこと要約

C3は、クロスインスタンス間類似度を活用することで、より信頼性の高い陽性ペアを特定し、誤検出を低減することで、クラスタリングを向上させる新しい対照的クラスタリング手法を提案する。ネガティブサンプルに対するソフトウェート方式と類似度に基づく損失関数を導入することで、C3はSOTA性能を達成し、CIFAR-10では最大6.6%、ImageNet-10では5.0%のクラスタリング精度向上を達成した。

ABSTRACT

Clustering is the task of gathering similar data samples into clusters without using any predefined labels. It has been widely studied in machine learning literature, and recent advancements in deep learning have revived interest in this field. Contrastive clustering (CC) models are a staple of deep clustering in which positive and negative pairs of each data instance are generated through data augmentation. CC models aim to learn a feature space where instance-level and cluster-level representations of positive pairs are grouped together. Despite improving the SOTA, these algorithms ignore the cross-instance patterns, which carry essential information for improving clustering performance. This increases the false-negative-pair rate of the model while decreasing its true-positive-pair rate. In this paper, we propose a novel contrastive clustering method, Cross-instance guided Contrastive Clustering (C3), that considers the cross-sample relationships to increase the number of positive pairs and mitigate the impact of false negative, noise, and anomaly sample on the learned representation of data. In particular, we define a new loss function that identifies similar instances using the instance-level representation and encourages them to aggregate together. Moreover, we propose a novel weighting method to select negative samples in a more efficient way. Extensive experimental evaluations show that our proposed method can outperform state-of-the-art algorithms on benchmark computer vision datasets: we improve the clustering accuracy by 6.6%, 3.3%, 5.0%, 1.3% and 0.3% on CIFAR-10, CIFAR-100, ImageNet-10, ImageNet-Dogs, and Tiny-ImageNet.

研究の動機と目的

• 対照的クラスタリング手法がクロスインスタンス関係を無視するという限界を是正し、誤検出ペア率の上昇と最適でないクラスタリングを回避する。
• インスタンスレベルの類似度モデリングを通じて、より信頼性の高い陽性ペアを特定することで、クラスタリング性能を向上させる。
• クラスタ境界付近の難易度の高いサンプルに焦点を当てる、重み付きサンプリング戦略を開発する。
• インスタンス間類似度を組み込んだ損失関数を設計し、よりクラスタに適した表現空間を学習する。
• 実験的に、ペairワイズデータ類似度を考慮することで、多様なベンチマークでクラスタリング精度と頑健性が顕著に向上することを検証する。

提案手法

• インスタンスレベル表現を用いて類似するサンプルを特定し、特徴空間内でそれらを集約するよう促す新しい対照的損失関数を導入する。
• クラスタ境界に近いネガティブサンプルに高い重みを割り当てるソフトウェート方式を提案する。これにより、困難なサンプルに焦点を当てる。
• ハイパーパrameter ζを用いたしきい値ベースの類似度メトリクスを採用し、特徴空間の近接度に基づいて陽性ペアを動的に特定する。
• ハイパーパrameter Γで制御されるエントロピーに基づく重み付け方式を用い、ネガティブサンプリングにおける多様性と集中性のバランスを取る。
• データオーグメンテーションを用いて陽性ペアを生成するが、クロスインスタンス類似度により、拡張ビューを超えた陽性ペア集合を拡張する。
• 表現学習とクラスタリング性能を同時に最適化する対照的目的関数を用いて、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 教師なし対照的クラスタリングにおいて、クロスインスタンス関係を効果的に活用することで、誤検出ペアをどのように低減できるか？
• RQ2 インスタンス間類似度に基づいて陽性ペアを動的に特定することで、クラスタリング精度にどのような影響を与えるか？
• RQ3 境界に敏感な重み付け方式をネガティブサンプルに適用することで、クラスタリングにおける表現学習はどのように向上するか？
• RQ4 標準的な対照的クラスタリングと比較して、ペアワイズ類似度を組み込むことで、クラスタリング性能はどの程度向上するか？
• RQ5 クラスタ数が異なるデータセットにおいて、最適な性能を達成するためのハイパーパrameter設定（ζ と Γ）は何か？

主な発見

• C3は、SOTA手法と比較して、CIFAR-10で6.6%、CIFAR-100で3.3%、ImageNet-10で5.0%、ImageNet-Dogsで1.3%、Tiny-ImageNetで0.3%のクラスタリング精度向上を達成した。
• データオーグメンテーションのビューを超えた信頼性の高い陽性ペアの集合を拡張することで、誤検出ペア率を顕著に低減した。
• CIFAR-10ではζ = 0.6、Tiny-ImageNetではζ = 0.95が最適な性能をもたらし、類似度検出における感受性と特異性のバランスを取った。
• Γ = 0.1の重み付け方式は、クラスタ境界付近のハードサンプルを効果的に優先し、モデルの一般化性能を向上させた。
• t-SNE可視化では、C3が標準的な対照的クラスタリングよりも、よりコンパクトで明確に分離されたクラスタを生成していることが示された。
• アブレーションスタディにより、類似度に基づく陽性ペア発見と重み付きネガティブサンプリングの両方が、性能向上に不可欠であることが確認された。