[論文レビュー] Deep clustering with concrete k-means

Boyan Gao, Yongxin Yang+2 more|arXiv (Cornell University)|Oct 17, 2019

Domain Adaptation and Few-Shot Learning参考文献 11被引用数 5

ひとこと要約

本稿では、Gumbel-Softmax再パrameter化トリックを用いてハードクラスタ割り当てを微分可能にすることで、深層特徴表現と$k$-meansクラスタ重心を同時に最適化する、エンドツーエンドの深層クラスタリングフレームワークであるConcrete $k$-means (CKM)を提案する。CKMは、解釈可能なハード割り当てと完全なバックプロパゲーション互換性を備えながら、標準ベンチマークで最先端の性能を達成しており、クラスタリング品質および学習効率の両面で先行手法を上回っている。

ABSTRACT

We address the problem of simultaneously learning a k-means clustering and deep feature representation from unlabelled data, which is of interest due to the potential of deep k-means to outperform traditional two-step feature extraction and shallow-clustering strategies. We achieve this by developing a gradient-estimator for the non-differentiable k-means objective via the Gumbel-Softmax reparameterisation trick. In contrast to previous attempts at deep clustering, our concrete k-means model can be optimised with respect to the canonical k-means objective and is easily trained end-to-end without resorting to alternating optimisation. We demonstrate the efficacy of our method on standard clustering benchmarks.

研究の動機と目的

• エンドツーエンドで微分可能な方法で、深層特徴表現と$k$-meansクラスタリングの両方を同時に学習する課題に対処すること。
• 標準$k$-means目的関数におけるハードクラスタ割り当ての非微分可能性が、深層ネットワークにおけるバックプロパゲーションを妨げる問題を克服すること。
• 解釈可能性を保ちつつ、標準的な深層学習最適化手法を用いた完全なエンドツーエンド学習を可能にする手法を開発すること。
• 代替損失関数や交互最適化に依存する既存の深層クラスタリング手法に対する競争力のある代替手法を提供すること。
• 提案手法が、深層クラスタリングおよびシンプルな$k$-means問題の両方を効果的に解けるかどうかを示すこと。

提案手法

• 本手法は、Gumbel-Softmax再パラメータ化トリックを用いて離散的クラスタ割り当てを微分可能に近似し、ハード割り当てステップを通過する勾配の流れを可能にする。
• 先行研究で用いられる代替損失を避けるために、正規の$k$-means損失関数を直接微分可能に最適化する目的関数を定式化する。
• 潜在空間における学習可能なクラスタ重心と、表現学習のための深層ニューラルネットワークを同時に学習する。
• クラスタ割り当ては、微分可能サンプリングとトレーニング中のソフトからハードへの温度スケーリングを可能にするコンクリート分布を用いる。
• バックプロパゲーションが完全に可能であり、クラスタリングをより大きな深層学習アーキテクチャにモジュールとして統合可能である。
• 本手法は標準的な深層学習最適化手法を用いて学習され、交互最適化やヒューリスティックな代替目的関数を必要としない。

実験結果

リサーチクエスチョン

• RQ1 $k$-means目的関数における離散的クラスタ割り当てを微分可能にすることで、深層ニューラルネットワークとクラスタ重心のエンドツーエンド学習を可能にできるか？
• RQ2 提案手法は、最先端の深層クラスタリング手法と比較して競争力のあるクラスタリング性能を達成できるか？
• RQ3 解釈可能性を保つハードクラスタ割り当てを維持しつつ、完全に微分可能でバックプロパゲーションによる学習が可能なか？
• RQ4 本フレームワークは、深層クラスタリングおよび標準的なシンプル$k$-means問題の両方に対して有効か？
• RQ5 交互最適化や代替損失ベースの手法と比較して、学習効率および収束速度の面で優れているか？

主な発見

• MNISTでは、CKMがNMI 81.4±1.8、ARI 77.7±1.1、ACC 85.4±2.1を達成し、DECおよびDCNを上回った。
• USPSでは、CKMがNMI 70.7±0.2、ARI 61.3±0.2、ACC 72.1±0.4を達成し、DCNおよびDECと同等またはわずかに上回った。
• 20Newsgroupsでは、CKMがNMI 46.5±1.4、ARI 34.1±1.6、ACC 47.3±2.3を達成し、最先端の手法と同等の性能を示した。
• 比較対象の手法の中で、CKMは唯一、ハードクラスタ割り当てとエンドツーエンド微分可能学習を両立しており、解釈可能性と深層ネットワーク内でのモジュラー統合を可能にした。
• CKMはDCNよりも著しく高速で、MNISTでは1エポックあたり11秒、DCNは36秒であり、DECと同等の速度であった。
• また、シンプル$k$-means問題に対しても競争力のあるソルバーを提供し、標準ベンチマークで$k$-means++と同等の性能を達成した。