[論文レビュー] SpectralNet: Spectral Clustering using Deep Neural Networks

Uri Shaham, Kelly Stanton+4 more|arXiv (Cornell University)|Jan 4, 2018

Face and Expression Recognition参考文献 28被引用数 118

ひとこと要約

SpectralNet は、スペクトル埋め込みへのパラメトリックマップを学習し、スケーラブルなクラスタリングを実現。アウトオブサンプル拡張と Siamese ネットワークによる親和性学習の改善を可能にし、MNIST で競争力のある結果を、Reuters で最先端の性能を達成。

ABSTRACT

Spectral clustering is a leading and popular technique in unsupervised data analysis. Two of its major limitations are scalability and generalization of the spectral embedding (i.e., out-of-sample-extension). In this paper we introduce a deep learning approach to spectral clustering that overcomes the above shortcomings. Our network, which we call SpectralNet, learns a map that embeds input data points into the eigenspace of their associated graph Laplacian matrix and subsequently clusters them. We train SpectralNet using a procedure that involves constrained stochastic optimization. Stochastic optimization allows it to scale to large datasets, while the constraints, which are implemented using a special-purpose output layer, allow us to keep the network output orthogonal. Moreover, the map learned by SpectralNet naturally generalizes the spectral embedding to unseen data points. To further improve the quality of the clustering, we replace the standard pairwise Gaussian affinities with affinities leaned from unlabeled data using a Siamese network. Additional improvement can be achieved by applying the network to code representations produced, e.g., by standard autoencoders. Our end-to-end learning procedure is fully unsupervised. In addition, we apply VC dimension theory to derive a lower bound on the size of SpectralNet. State-of-the-art clustering results are reported on the Reuters dataset. Our implementation is publicly available at https://github.com/kstant0725/SpectralNet .

研究の動機と目的

• スペクトルクラスタリングを動機づけ、そのスケーラビリティとアウトオブサンプル拡張の制約に対処する。
• 確率的学習下で直交性を保ちながら、スペクトル埋め込みを学習するニューラルネットワークを開発する。
• Siamese ネットワークを介して学習済みの親和性を組み込み、クラスタリング品質を向上させる。
• エンドツーエンドの教師なし学習を可能にし、大規模データセットで評価する。

提案手法

• 親和性行列で重み付けされたペアワイズ距離損失を最小化することにより、スペクトル埋め込みを近似するニューラルネットワークを訓練する。
• QR分解ベースの直交化を用いた制約付き出力層を実装して、ネットワーク出力の直交性を強制する。
• 固定されたユークリッド距離の代わりに、適応的でデータ駆動的な親和性を学習するために Siamese ネットワークを用いる。
• クラスタリング品質を向上させるために、オートエンコーダーによって生成されるコード空間でネットワークを適用することもできる。
• 学習済み埋め込み空間で k-means を実行して最終的なクラスタ割り当てを得る。
• 訓練済みネットワークを介して新しい点をマッピングすることでアウトオブサンプル拡張を提供する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、グラフラプラシアンのスペクトル埋め込みを、スケーラブルでエンドツーエンドな方法で学習できるか。
• RQ2 ネットワーク出力を直交させる制約は、ラプラシアン固有ベクトルを忠実に近似することを可能にするか。
• RQ3 学習済み（Siamese）親和性は、固定のユークリッド距離よりもスペクトルクラスタリングの品質を向上させるか。
• RQ4 SpectralNet は未見データ（アウトオブサンプル拡張）にどれだけ一般化できるか。

主な発見

Algorithm	ACC (MNIST)	NMI (MNIST)	ACC (Reuters)	NMI (Reuters)
k-means	.534	.499	.533	.401
Spectral clustering	.717	.754	NA	NA
DEC	.843 *	.8 **	.756 *	not reported
DCN	.83 **	.81 **	not reported	not reported
VaDE	.9446 †	not reported	.7938 †	not reported
JULE	not reported	.913 ‡	not reported	not reported
DEPICT	.965 ††	.917 ††	not reported	not reported
IMSAT	.984 ±.004 ‡‡	not reported	.719 ‡‡	not reported
SpectralNet (input space, Euclidean)	.622 ±.008	.687 ±.004	.645 ±.01	.444 ±.01
SpectralNet (input space, Siamese distance)	.826 ±.03	.884 ±.02	.661 ±.017	.381 ±.057
SpectralNet (code space, Euclidean distance)	.800 ±.003	.814 ±.008	.605 ±.053	.401 ±.061
SpectralNet (code space, Siamese distance)	.971 ±.001	.924 ±.001	.803 ±.006	.532 ±.010

• Siamese-based affinities と code-space representations を組み合わせたSpectralNetは、いくつかのベースラインよりMNISTのクラスタリングを著しく改善し、いくつかの設定では IMSAT に近づく。
• コード空間での Siamese 距離を用いると、MNIST ACC は 0.971、NMI は 0.924 に達する。コード空間 Siamese を用いた Reuters は ACC 0.803、NMI 0.532 に達する。
• 入力空間での Euclidean 距離では、MNIST の ACC は 0.622、NMI は 0.687。コード空間での Euclidean 距離では、MNIST の ACC は 0.800、NMI は 0.814。
• SpectralNet using Siamese affinities outperforms many deep clustering baselines (DEC, DCN, VaDE, JULE, DEPICT) and is competitive with IMSAT on MNIST.
• On Reuters, SpectralNet in code space with Siamese affinity achieves the best reported ACC of 0.803 and NMI of 0.532 among the tested variants.
• Theoretical analysis provides a VC-dimension lower bound showing spectral clustering’s expressive power grows at least linearly with the number of points