[論文レビュー] Neural Collaborative Subspace Clustering

Tong Zhang, Pan Ji+3 more|arXiv (Cornell University)|Apr 24, 2019

Face and Expression Recognition被引用数 13

ひとこと要約

本論文では、スペクトルクラスタリングをニューラル分類器に置き換えることでスケーラブルでエンド・ツー・エンドの部分空間クラスタリングを実現する深層学習フレームワーク、Neural Collaborative Subspace Clustering (NCSC) を提案する。ペアワイズの部分空間所属を予測する分類器と、他の点からデータ点を再構築する自己表現層を協調的に訓練することで、NCSC はスペクトルクラスタリングを用いないまま MNIST、Fashion-MNIST、Stanford Online Products で最先端の性能を達成した。Fashion-MNIST では 72.14% の精度を、難易度の高い Stanford データセットでは 27.5% の精度を記録した。

ABSTRACT

We introduce the Neural Collaborative Subspace Clustering, a neural model that discovers clusters of data points drawn from a union of low-dimensional subspaces. In contrast to previous attempts, our model runs without the aid of spectral clustering. This makes our algorithm one of the kinds that can gracefully scale to large datasets. At its heart, our neural model benefits from a classifier which determines whether a pair of points lies on the same subspace or not. Essential to our model is the construction of two affinity matrices, one from the classifier and the other from a notion of subspace self-expressiveness, to supervise training in a collaborative scheme. We thoroughly assess and contrast the performance of our model against various state-of-the-art clustering algorithms including deep subspace-based ones.

研究の動機と目的

• スペクトルクラスタリングと類縁行列の計算に依存する伝統的な部分空間クラスタリング手法のスケーラビリティの限界を解消すること。
• スペクトルクラスタリングの必要性を排除しながら、クラスタリング性能を維持または向上させる深層学習ベースのアプローチを開発すること。
• 2つの補完的モジュール間の協調学習フレームワークを導入することで、部分空間クラスタリングのためのニューラルネットワークをエンド・ツー・エンドで訓練可能にすること。
• 非線形構造や高い視覚的ばらつきを示す大規模で複雑なデータセットに対しても、堅牢性とスケーラビリティを示すこと。

提案手法

• 2つのデータ点が同じ部分空間上にあるかどうかを判断する二値分類タスクとして部分空間クラスタリングを定式化する。
• 2つの類縁行列を構築する：1つは分類器が予測する同じ部分空間に属するペアに基づく（A_c）、もう1つは部分空間の自己表現（A_s）に基づく、各点が他の点から線形に再構築されるもの。
• 両モジュールを協調的最適化スキームで同時に訓練する。各類縁行列が、高信頼度の予測を用いてもう一方を監視する。
• 自己表現行列 A_s を分類器の一般化を向上させる正則化項として用い、逆に分類器の予測を自己表現層の改善に活用することで、相互に高め合うようにする。
• バッチ単位でモデルを訓練することで、完全な類縁行列を保存する必要がなくなり、大規模データセットへの効率的なスケーリングが可能になる。
• スペクトルクラスタリングによる後処理を経ずに、訓練済みのネットワークから直接最終的なクラスタラベルを予測する。

実験結果

リサーチクエスチョン

• RQ1 スペクトルクラスタリングや類縁行列の計算に依存せずに、ニューラルネットワークが部分空間クラスタリングを実行できるか。
• RQ2 分類器ベースの類縁性と自己表現ベースの類縁性を効果的に統合することで、クラスタリング性能を向上させられるか。
• RQ3 ペアワイズ分類器と自己表現層の間で協調的に学習させることで、従来の深層部分空間クラスタリング手法よりも高いクラスタリング精度とスケーラビリティが得られるか。
• RQ4 本手法は、Stanford Online Products のような困難で非線形的かつ視覚的ばらつきの大きいデータセットに対しても効果を発揮するか。

主な発見

• Fashion-MNIST において NCSC は 72.14% のクラスタリング精度を達成し、次に優れた手法（DSC-Net で 60.62%）を大きく上回り、非深層手法の DAC や ClusterGAN でさえも上回った。
• 極めて困難な Stanford Online Products データセットでは、NCSC が 27.5% の精度を記録し、DEC や DCN、InfoGAN といった多くの深層クラスタリングベースラインを上回った。これらの手法は性能が低く、初期化時と同等かそれ以下であった。
• 潜在次元が部分空間の自己表現をサポートする限り、ネットワークアーキテクチャの変更に対しても堅牢であるため、アーキテクチャの柔軟性が示された。
• 協調的訓練スキームにより、分類器と自己表現コンponents が段階的に向上し、相互に補い合うことで、それぞれの性能が向上した。
• NCSC はスペクトルクラスタリングの O(n²) のメモリおよび計算のボトルネックを排除し、性能を損なうことなく大規模データセットへのスケーラブルな訓練を可能にした。
• MNIST では NCSC が 72.14% の精度を達成し、SSC-CAE の 35.87% よりも 11.5 パcentポイント高い結果を示し、標準ベンチマークにおいて優位性を確認した。