[論文レビュー] Clustering-friendly Representation Learning via Instance Discrimination and Feature Decorrelation

Yaling Tao, Kentaro Takagi+1 more|arXiv (Cornell University)|May 31, 2021

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 36

ひとこと要約

この論文はインスタンス識別をソフトマックスベースの特徴デコリレーションと組み合わせ、クラスタリングに適した表現を学習する手法を提案し、スペクトルクラスタリングへの接続と、単純なk-meansを用いた強力な画像クラスタリング結果を実現している。

ABSTRACT

Clustering is one of the most fundamental tasks in machine learning. Recently, deep clustering has become a major trend in clustering techniques. Representation learning often plays an important role in the effectiveness of deep clustering, and thus can be a principal cause of performance degradation. In this paper, we propose a clustering-friendly representation learning method using instance discrimination and feature decorrelation. Our deep-learning-based representation learning method is motivated by the properties of classical spectral clustering. Instance discrimination learns similarities among data and feature decorrelation removes redundant correlation among features. We utilize an instance discrimination method in which learning individual instance classes leads to learning similarity among instances. Through detailed experiments and examination, we show that the approach can be adapted to learning a latent space for clustering. We design novel softmax-formulated decorrelation constraints for learning. In evaluations of image clustering using CIFAR-10 and ImageNet-10, our method achieves accuracy of 81.5% and 95.4%, respectively. We also show that the softmax-formulated constraints are compatible with various neural networks.

研究の動機と目的

• 教師なし画像クラスタリングのためのクラスタリングに適した表現学習法を動機づけ、開発する。
• インスタンス識別をスペクトルクラスタリングと橋渡しし、インスタンス間の類似性と特徴のデコレーションを両立させる。
• 安定性があり一般的なニューラルネットワークと互換性を持つ、ソフトマックス形式のデコリレーション制約を提案する。
• 学習表現に対して学習済み embedding 上での単純なk-meansを用いて CIFAR-10 および ImageNet-10 で最先端のクラスタリング性能を示す。

提案手法

• 各未ラベルのインスタンスを独自クラスとして扱い、ソフトマックスベースの目的関数でインスタンスごとの類似性を学習する、インスタンス識別を採用する。
• デコリレーション項を導入し、潜在特徴の直交性を促進しつつ柔軟性を許す（ソフトデコリレーション）ソフトマックス形式の制約を含める。
• インスタンス識別ロスとデコリレーションロスを結合し、結合目的関数 L_IDFD = L_I + alpha L_F (α は設定ごとに調整)。
• L_FO という単純な直交性制約を持つバリアントを提供し、ソフトマックスデコリレーション L_F と比較して安定性と実用的な利点を強調する。
• tau が適切に設定された場合（tau ≥ ~2） L_F がほぼ直交性を保証することで、学習表現がラプラシアン固有空間を近似する様子を示し、スペクトルクラスタリングへの接続を示す。
• 学習済み埋め込みに対して複数のデータセット（CIFAR-10, CIFAR-100, STL-10, ImageNet-10, ImageNet-Dog）およびネットワークを用いてk-meansクラスタリングで評価する。

実験結果

リサーチクエスチョン

• RQ1 インスタンス識別に基づく表現学習を、教師なし画像クラスタリングのためのクラスタリングに適した埋め込みを生成するように調整できるか。
• RQ2 ソフトマックス形式のデコリレーション制約を組み込むことは、厳密な直交性と比較してクラスタリング性能と安定性を向上させるか。
• RQ3 温度パラメータ tau はクラスタリング品質とスペクトルクラスタリングとの関係にどのような影響を与えるか。
• RQ4 提案手法IDFDの利得は異なるネットワークアーキテクチャやデータセットで堅牢か。

主な発見

データセット	CIFAR-10 ACC	CIFAR-10 NMI	CIFAR-10 ARI	CIFAR-100 ACC	CIFAR-100 NMI	CIFAR-100 ARI	STL-10 ACC	STL-10 NMI	STL-10 ARI	ImageNet-10 ACC	ImageNet-10 NMI	ImageNet-10 ARI	ImageNet-Dog ACC	ImageNet-Dog NMI	ImageNet-Dog ARI
ID(original)	44.0	30.9	22.1	26.7	22.1	24.8	51.4	36.2	28.5	63.2	47.8	42.0	36.5	24.8	17.2
ID(tuned)	77.6	68.2	61.6	40.9	39.2	24.3	72.6	64.0	52.6	93.7	86.7	86.5	47.6	47.0	33.5
IDFO	82.8	71.4	67.9	42.5	43.2	24.4	75.6	63.6	56.9	94.2	87.1	87.6	61.2	57.9	41.4
IDFD	81.5	71.1	66.3	42.5	42.6	26.4	75.6	64.3	57.5	95.4	89.8	90.1	59.1	54.6	41.3

• IDFD（およびその派生 IDFO、ID(tuned)）は ACC、NMI、ARI の複数データセットで、AE、DEC、DAC、DCCM、IIC、SCAN などのベースラインを一貫して上回る。
• CIFAR-10 では IDFD は 81.5% ACC、71.1 NMI、66.3 ARI; CIFAR-100 では 42.5 ACC、42.6 NMI、26.4 ARI; STL-10 では 75.6 ACC、64.3 NMI、57.5 ARI; ImageNet-10 では 95.4 ACC、89.8 NMI、90.1 ARI; ImageNet-Dog では 59.1 ACC、54.6 NMI、41.3 ARI。
• IDFO と IDFD はデータセットを通じて ID(original) より一貫して改善され、デコリレーションの利点と大きな tau のインスタンス識別設定（ID tuned）を示している。
• ソフトマックスデコリレーション制約 L_F は、厳密な直交性 (L_FO) より安定性と柔軟性を提供し、微分が滑らかな最適化を導く。
• IDFD は複数のアーキテクチャ（ConvNet、VGG16、ResNet18/34）で機能し、データ拡張と組み合わせても効果的で、実用性を示す。