[論文レビュー] Towards K-means-friendly Spaces: Simultaneous Deep Learning and Clustering

Bo Yang, Xiao Fu+2 more|arXiv (Cornell University)|Oct 15, 2016

Face and Expression Recognition参考文献 35被引用数 597

ひとこと要約

本論文は、再構成項を組み込むことで自明解を防ぎつつ、非線形次元削減と K-means クラスタリングを同時に学習する Deep Clustering Network (DCN) を提案し、いくつかの実データセットでクラスタリング性能を向上させることを示す。

ABSTRACT

Most learning approaches treat dimensionality reduction (DR) and clustering separately (i.e., sequentially), but recent research has shown that optimizing the two tasks jointly can substantially improve the performance of both. The premise behind the latter genre is that the data samples are obtained via linear transformation of latent representations that are easy to cluster; but in practice, the transformation from the latent space to the data can be more complicated. In this work, we assume that this transformation is an unknown and possibly nonlinear function. To recover the `clustering-friendly' latent representations and to better cluster the data, we propose a joint DR and K-means clustering approach in which DR is accomplished via learning a deep neural network (DNN). The motivation is to keep the advantages of jointly optimizing the two tasks, while exploiting the deep neural network's ability to approximate any nonlinear function. This way, the proposed approach can work well for a broad class of generative models. Towards this end, we carefully design the DNN structure and the associated joint optimization criterion, and propose an effective and scalable algorithm to handle the formulated optimization problem. Experiments using different real datasets are employed to showcase the effectiveness of the proposed approach.

研究の動機と目的

• 非線形なデータ変換を扱える、DR（次元削減）とクラスタリングを jointly 行う枠組みを動機づけ、定式化する。
• データ再構成を可能にしつつ、クラスタリングに適した潜在表現を育む深層ニューラルネットワークアーキテクチャを設計する。
• ネットワークパラメータとクラスタリング変数の更新を交互に行う、スケーラブルな最適化アルゴリズムを開発する。
• 合成データと実データセットの両方でアプローチの有効性を実証し、強力なベースラインと比較する。

提案手法

• 次元削減、デコーディングネットワークによるデータ再構成、K-means クラスタリング正則化項を組み合わせた共同目的関数を提案する。
• エンコーダ/デコーダ構造を持つ Deep Clustering Network (DCN) を用い、ボトルネック層でクラスタリングを行う。
• 自明解を防ぎ、有意義な潜在表現を促進するための再構成損失を組み込み；この損失は再構成項とクラスタリング項をパラメータ lambda で組み合わせたもの。
• バックプロパゲーションでネットワークパラメータを更新し、オンラインでサンプルをクラスタへ割り当て、バランスの取れた動的移動平均ルールでセントロイドを更新する、交互的な確率的勾配法により最適化する。
• ボトルネック出力に対する K-means でのウォームスタートクラスタリングと層別事前学習でネットワークを初期化する。
• K-means を超える他のクラスタリング基準や他のネットワークアーキテクチャ（例：CNNs）を採用する柔軟性を認める。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークで学習した非線形の DR モデルは、線形 DR 手法よりも K-means クラスタリングに適した潜在表現を生み出せるか。
• RQ2 再構成制約を伴う DR とクラスタリングの共同最適化は自明解を回避し、多様なデータセットでクラスタリング品質を向上させるか。
• RQ3 大規模かつ不均衡なデータセットに対して、提案手法 DCN は強力なベースライン（例：SAE+KM、DEC、NMF+KM）と比較してどうか。
• RQ4 実データにおいて、最適化手法はオンライン/ミニバッチ設定でスケーラブルで効果的か。
• RQ5 再構成強度（lambda）とネットワークアーキテクチャがクラスタリング性能に与える影響は何か。

主な発見

• DCN は RCV1-v2 のような実データセットで、複数のクラスタ数にわたりベースラインより一貫してクラスタリング指標を改善する。
• DCN は SAE+KM を上回り、特に不均衡クラスタリングのシナリオで DEC や他の最先端ベースラインを上回ることが多い。
• 合成実験では、他の DR 手法が失敗するところで DCN が基礎となるクラスタリング向き潜在空間を回復する。
• 再構成コンポーネントは自明解の防止と結合最適化の安定化に寄与し、トレーニングエポックを追うにつれて指標が着実に改善される。
• 本手法は MNIST（生データおよび前処理済み）と 20Newsgroup で強い性能を示しており、画像データとテキストデータの両方で頑健性を示している。