[論文レビュー] DeepCluE: Enhanced Image Clustering via Multi-layer Ensembles in Deep Neural Networks

Dong Huang, Ding-Hua Chen+3 more|arXiv (Cornell University)|Jun 1, 2022

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

DeepCluE は、アンサンブルクラスタリングを通じて複数層の特徴表現を活用することで、性能を向上させる画期的なディープ画像クラスタリングフレームワークを提案する。重み共有のCNNをインスタンスレベルおよびクラスタレベルの対照学習で訓練し、複数の層からの特徴抽出を行い、二部グラフ分割戦略におけるエントロピーに基づくクラスタ重み付けを適用することで、DeepCluE は6つの画像データセットで最先端の結果を達成し、従来の単層ディープクラスタリング手法を上回る性能を発揮する。

ABSTRACT

Deep clustering has recently emerged as a promising technique for complex data clustering. Despite the considerable progress, previous deep clustering works mostly build or learn the final clustering by only utilizing a single layer of representation, e.g., by performing the K-means clustering on the last fully-connected layer or by associating some clustering loss to a specific layer, which neglect the possibilities of jointly leveraging multi-layer representations for enhancing the deep clustering performance. In view of this, this paper presents a Deep Clustering via Ensembles (DeepCluE) approach, which bridges the gap between deep clustering and ensemble clustering by harnessing the power of multiple layers in deep neural networks. In particular, we utilize a weight-sharing convolutional neural network as the backbone, which is trained with both the instance-level contrastive learning (via an instance projector) and the cluster-level contrastive learning (via a cluster projector) in an unsupervised manner. Thereafter, multiple layers of feature representations are extracted from the trained network, upon which the ensemble clustering process is further conducted. Specifically, a set of diversified base clusterings are generated from the multi-layer representations via a highly efficient clusterer. Then the reliability of clusters in multiple base clusterings is automatically estimated by exploiting an entropy-based criterion, based on which the set of base clusterings are re-formulated into a weighted-cluster bipartite graph. By partitioning this bipartite graph via transfer cut, the final consensus clustering can be obtained. Experimental results on six image datasets confirm the advantages of DeepCluE over the state-of-the-art deep clustering approaches.

研究の動機と目的

• 既存のディープクラスタリング手法が単一の層の表現に依存するという制限を解消し、ネットワークの深さにわたる補完的な意味的情報を捉えること。
• ディープクラスタリングとアンサンブルクラスタリングのギャップを埋めるために、ディープニューラルネットワーク内の複数層からの多様な特徴を統合的に活用すること。
• アンサンブルフレームワーク内でのエントロピーに基づく重み付け方式によりクラスタの信頼性をモデル化することで、クラスタリングのロバスト性と正確性を向上させること。
• 対照学習、多層特徴抽出、コンSENSUSクラスタリングを統合した、一貫性のあるエンドツーエンドで学習可能なパイプラインの開発

提案手法

• インスタンスレベルおよびクラスタレベルの対照学習を専用のプロジェクタを介して行い、重み共有の畳み込みニューラルネットワークを教師なしで訓練する。
• 訓練済みネットワークから複数の層の特徴表現を抽出し、異なる抽象化レベルにおける階層的な意味的情報を捉える。
• 高効率な U-SPEC アルゴリズムにより、多層特徴から多様なベースクラスタリングの集合を生成する。
• エントロピーに基づく基準により、すべてのベースクラスタリングにおけるクラスタの信頼性重みを評価・割り当てる。これにより、クラスタ内およびクラスタ間の不確実性を考慮する。
• 重み付きクラスタリングを重み付きクラスターバイパーティットグラフとしてモデル化し、トランスファーカットに基づく分割によりコンセンサスクラスタリングを取得する。
• 最終的なクラスタリングは、二部グラフの最適化により、一致を最大化するとともにクラスタ信頼性スコアを尊重する形で導出される。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワーク内の複数層の特徴表現を統合的に活用することで、単層アプローチを上回る画像クラスタリング性能を達成できるか？
• RQ2 複数のベースクラスタリングにわたるクラスタ信頼性を自動的に推定し、コンセンサスクラスタリングの向上に活用する方法は何か？
• RQ3 アンサンブルサイズおよびクラスタ重み付けが、多層ディープクラスタリングフレームワークにおける最終的なクラスタリング品質に与える影響は何か？
• RQ4 インスタンスレベルおよびクラスタレベルの両方の対照学習を組み込むことで、クラスタリングに適した多層特徴の品質が向上するか？

主な発見

• DeepCluE は、6つのベンチマーク画像データセットで最先端の性能を達成し、NMI、ARI、ACC の観点で、既存のディープクラスタリング手法を一貫して上回る。
• クラスタごとの重み付けを組み込むことで、性能が顕著に向上し、アブレーションスタディではすべてのデータセットで一貫した向上が確認された。
• アンサンブルサイズ（すなわちベースクラスタリングの数）を増やすことで、クラスタリング品質が向上し、より大きなアンサンブルサイズで安定化する傾向を示した。
• アブレーションスタディにより、重み付きクラスタを用いた本手法が、均一なクラスタ重みを用いた変種よりも、6つのすべてのデータセットで優れた性能を発揮することが確認された。
• 本フレームワークは、小規模（Fashion、CIFAR）および大規模（Tiny-ImageNet、ImageNet）なベンチマークを含む多様な画像データに対して、強力で安定した性能を示した。