[論文レビュー] Deep $k$-Means: Jointly clustering with $k$-Means and learning representations

Maziar Moradi Fard, Thibaut Thonet+1 more|arXiv (Cornell University)|Jun 26, 2018

Gaussian Processes and Bayesian Inference参考文献 39被引用数 259

ひとこと要約

DKMはデータ表現とk-Meansクラスタリングを微分可能なソフト割り当て代理で同時に学習し、再構成品質を犠牲にせず強力なクラスタリングを実現。画像とテキストデータセットでいくつかの深層クラスタリングのベースラインより優れている。

ABSTRACT

We study in this paper the problem of jointly clustering and learning representations. As several previous studies have shown, learning representations that are both faithful to the data to be clustered and adapted to the clustering algorithm can lead to better clustering performance, all the more so that the two tasks are performed jointly. We propose here such an approach for $k$-Means clustering based on a continuous reparametrization of the objective function that leads to a truly joint solution. The behavior of our approach is illustrated on various datasets showing its efficacy in learning representations for objects while clustering them.

研究の動機と目的

• 高次元データにおけるクラスタリングの課題を、表現とクラスタ割り当てを共同に学習することで動機づけ、解決する。
• 表現学習とk-Meansクラスタリングを統合する、微分可能なエンドツーエンド最適化を開発する。
• k-Means目的関数の連続緩和が、スケーラブルなSGDベースの訓練を可能にすることを示す。
• 制御された公平な条件下で、最先端の深層クラスタリングのベースラインと比較する。
• 画像データとテキストデータの多様なデータセットにおいて、手法の有効性を示す。

提案手法

• オートエンコーダによって学習される埋め込み空間において、再構成損失とクラスタリング損失を最小化する形でディープk-Meansを定式化する。
• パラメータ化されたソフトマックスに基づく微分可能な代理関数 Gk,f を用いた k-Means目的関数の連続的一般化を導入する（Gk,f(hθ(x),α;R）。
• αを逆温度として用い、割り当てを徐々に硬化させる決定論的アニーリングスケジュールを適用する。
• 代理損失を用いた SGD によって θ（オートエンコーダ）と R（クラスタ中心）を共同最適化し、エンドツーエンドの訓練を可能にする。
• Gk,f の選択（ソフトマックスベースの代理を含む）と、代理が真のハード割り当てへ収束する条件について議論する。
• 初期化およびクラスタ中心の初期化戦略として、事前訓練とアニーリングを検討する。

実験結果

リサーチクエスチョン

• RQ1 k-Meansクラスタリングと表現学習を、微分可能でエンドツーエンドのフレームワークで真に共同最適化できるか？
• RQ2 k-Meansのargminのソフトで微分可能な代理（アニーリング付き）が、明示的な離散更新なしで競争力のあるまたは優れたクラスタリングを達成するか？
• RQ3 連続的緩和による共同学習は、様々なデータモダリティにおける事前訓練ベースの深層クラスタリング手法とどう比較されるか？
• RQ4 アニーリングパラメータαがクラスタリング品質と表現学習に与える影響は何か？
• RQ5 学習された表現は、デカップリングされたまたは従来のオートエンコーダ＋K-Meansパイプラインによって得られる表現よりクラスタリングに対して識別性が高いか？

主な発見

• アニーリングを用いるDKM（DKMa）は、すべてのデータセットにおいて非事前訓練のDCNを上回り、事前訓練ベースの手法に近づく、またはそれを上回るクラスタリング品質を示す。
• 事前訓練を用いたDKMpは、強力なベースラインと競合する、あるいはそれを上回る結果を、複数データセットで示すことが多く、しばしばIDECとDCNを上回る。
• Jointly learning representations and clustering via the differentiable surrogate yields state-of-the-art or near state-of-the-art performance among k-Means–related deep clustering methods on MNIST, USPS, 20NEWS, and RCV1.
• 代理パラメータαのアニーリングは、クラスタ中心の初期化と良い局所解の達成において事前訓練の効果的な代替手段として機能する。
• The learned embedding space for DKM, especially with pretraining, yields well-separated clusters as visualized by t-SNE on USPS.
• Across datasets, the DKM variants consistently outperform standard KM and AE-KM baselines, illustrating the benefit of joint optimization.