[論文レビュー] Differentiable Deep Clustering with Cluster Size Constraints

Aude Genevay, Gabriel Dulac-Arnold+1 more|arXiv (Cornell University)|Oct 20, 2019

Domain Adaptation and Few-Shot Learning参考文献 17被引用数 10

ひとこと要約

この論文は、正則化付き最適輸送を用いて、明示的なクラスターサイズ制約を伴う、深層埋め込みとクラスターアサインメントを同時に学習する微分可能で深いクラスタリングフレームワークを提案する。k-meansをエントロピー正則化を用いた最適輸送問題に再定式化することで、確率的勾配降下法によるエンド・ツー・エンドの学習が可能となり、事前学習を必要とせず、CIFAR-10およびMNISTで最先端の非教師あり精度を達成した。これは、統計的に有意にソフトk-meansを上回る。

ABSTRACT

Clustering is a fundamental unsupervised learning approach. Many clustering algorithms -- such as $k$-means -- rely on the euclidean distance as a similarity measure, which is often not the most relevant metric for high dimensional data such as images. Learning a lower-dimensional embedding that can better reflect the geometry of the dataset is therefore instrumental for performance. We propose a new approach for this task where the embedding is performed by a differentiable model such as a deep neural network. By rewriting the $k$-means clustering algorithm as an optimal transport task, and adding an entropic regularization, we derive a fully differentiable loss function that can be minimized with respect to both the embedding parameters and the cluster parameters via stochastic gradient descent. We show that this new formulation generalizes a recently proposed state-of-the-art method based on soft-$k$-means by adding constraints on the cluster sizes. Empirical evaluations on image classification benchmarks suggest that compared to state-of-the-art methods, our optimal transport-based approach provide better unsupervised accuracy and does not require a pre-training phase.

研究の動機と目的

• 埋め込みネットワークとクラスターアサインメントを同時に最適化する完全に微分可能な深層クラスタリング手法の開発。
• バランスの取れたデータセットにおける性能向上を図るため、深層クラスタリングに明示的なクラスターサイズ制約を組み込む。
• 埋め込みネットワークの事前学習を不要にするために、クラスタリングに特化した表現を完全に从来から学習する。
• 最近のソフトk-meansに基づくアプローチを一般化するため、エントロピー正則化を用いた最適輸送を用いる。

提案手法

• エントロピー正則化を用いて、k-meansクラスタリングを微分可能な最適輸送問題に再定式化する。
• 埋め込みパラメータθおよびクラスターパラメータ（重心μ_kと重みw_k）に依存する微分可能な損失関数を定義する。
• Sinkhornアルゴリズムを用いて最適輸送計画を効率的に計算し、勾配ベースの最適化を可能にする。
• 輸送計画の周辺分布を所望の割合w_kに一致させることで、クラスターサイズ制約を強制する。
• 確率的勾配降下法を用いて、埋め込みネットワークf_θとクラスターパラメータを同時に最適化する。
• クラスターセンタをk-meansで初期化するが、クラスターインデックスとクラスの割合の間でマッチングステップを適用し、整合性のない割り当てを回避する。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化付き最適輸送を用いて、完全に微分可能な深層クラスタリングフレームワークを構築できるか？
• RQ2 クラスターサイズ制約を強制することで、画像ベンチマークにおける非教師ありクラスタリング性能が向上するか？
• RQ3 この手法は、埋め込みネットワークの事前学習を必要とせずに最先端の結果を達成できるか？
• RQ4 エントロピー正則化パラメータεの選択に対して、この手法はどれほど頑健か？
• RQ5 統計的有意性と性能の安定性の観点から、ソフトk-meansと比較してこの手法はどのように差をつけるか？

主な発見

• 提案手法は、CIFAR-10（p値 = 10^−12）およびMNIST（p値 = 0.0067）において、ソフトk-meansを統計的に有意に上回る。
• CIFAR-10では、事前学習を伴わずともソフトk-meansを上回る非教師あり精度を達成しており、事前学習による性能向上は顕著でない。
• MNISTでは、事前学習を伴わずともソフトk-meansを有意に上回るが、事前学習によりソフトk-meansの性能向上はより顕著であるのに対し、本手法の向上はそれほど顕著ではない。
• エントロピー正則化パラメータεの選択に対して、本手法は広い範囲のε値で安定した性能を維持する。
• 性能向上は特にバランスの取れたデータセットで顕著であり、ここではクラスターサイズ制約が最も効果を発揮する。
• 予備の結果から、クラスタの初期化がクラスの割合と整合している必要があることが示唆されており、そうでない場合、誤ったクラスターサイズが強制される可能性がある。