[論文レビュー] Convex Clustering: Model, Theoretical Guarantee and Efficient Algorithm

Defeng Sun, Kim-Chuan Toh+1 more|PolyU Institutional Research Archive (Hong Kong Polytechnic University)|Oct 4, 2018

Sparse and Compressive Sensing Techniques被引用数 9

ひとこと要約

本稿では、理論的回復保証を備えた大規模凸クラスタリングのための、半スムーズニュートンに基づく増大ラグランジュ法（Ssnal）を提案する。一般重み付き凸クラスタリングモデルにおける完全回復の十分条件を確立し、優れた効率性とスケーラビリティを示しており、ℝ³内の200,000点の問題を約6分で解ける。これは、AMA や ADMM といった一次元法よりも顕著に優れている。

ABSTRACT

Clustering is a fundamental problem in unsupervised learning. Popular methods like K-means, may suffer from poor performance as they are prone to get stuck in its local minima. Recently, the sum-of-norms (SON) model (also known as the clustering path) has been proposed in Pelckmans et al. (2005), Lindsten et al. (2011) and Hocking et al. (2011). The perfect recovery properties of the convex clustering model with uniformly weighted all pairwise-differences regularization have been proved by Zhu et al. (2014) and Panahi et al. (2017). However, no theoretical guarantee has been established for the general weighted convex clustering model, where better empirical results have been observed. In the numerical optimization aspect, although algorithms like the alternating direction method of multipliers (ADMM) and the alternating minimization algorithm (AMA) have been proposed to solve the convex clustering model (Chi and Lange, 2015), it still remains very challenging to solve large-scale problems. In this paper, we establish sufficient conditions for the perfect recovery guarantee of the general weighted convex clustering model, which include and improve existing theoretical results as special cases. In addition, we develop a semismooth Newton based augmented Lagrangian method for solving large-scale convex clustering problems. Extensive numerical experiments on both simulated and real data demonstrate that our algorithm is highly efficient and robust for solving large-scale problems. Moreover, the numerical results also show the superior performance and scalability of our algorithm comparing to the existing first-order methods. In particular, our algorithm is able to solve a convex clustering problem with 200,000 points in $\mathbb{R}^3$ in about 6 minutes.

研究の動機と目的

• 一般重み付き凸クラスタリングモデルにおける完全回復の理論的条件を確立し、均一重みに限った先行研究を拡張すること。
• 大規模凸クラスタリング問題を解くための効率的でスケーラブルな最適化アルゴリズムを開発すること。
• AMA や ADMM といった一次元法が大規模データセットにおいて収束が遅く、計算コストが高いため、その限界を克服すること。
• 正則化パrameter（γ）の変動にわたっても、一貫した性能を発揮するロバストで安定したアルゴリズムを提供すること。
• 実世界のデータセット（数万から数10万点）に凸クラスタリングを実用的に導入できること。

提案手法

• 2階微分の一般化ヘッセ情報を利用し、収束を高速化する半スムーズニュートンに基づく増大ラグランジュ法（Ssnal）を提案する。
• k近傍法に基づくスパース近隣グラフを用いて重み集合𝒪を定義し、非ゼロ重みを近隣ペアに限定することで計算コストを削減する。
• 半スムーズニュートンフレームワーク内でのニュートン方程式の効率的解法に共役勾配（CG）法を採用し、1反復あたりの計算量をO(d|𝒪| + d|𝒪̂|)に抑える。
• 適応的ラインサーチと正確なステップ長ルールを適用し、グローバル収束性とロバスト性を確保する。
• 増大ラグランジュフレームワークと半スムーズニュートン法を統合し、凸クラスタリングモデルの双対問題を解く。
• 複数のγ値にわたるクラスタリングパスを解く際のウォームスタート戦略を導入し、効率性を向上させる。

Figure 1: Visualization of the generated data.

実験結果

リサーチクエスチョン

• RQ1 一般重み付き凸クラスタリングモデルにおける完全回復の十分条件は何か？ そして、それらは先行研究の均一重みに限った結果をどのように一般化するか？
• RQ2 半スムーズニュートンのような2次元法は、一次元法と比較して、大規模凸クラスタリング問題の解法において著しく効率を向上させ得るか？
• RQ3 提案アルゴリズム（Ssnal）の性能は、データサイズ（n）と近隣サイズ（k）に対してどのようにスケーリングするか？
• RQ4 正則化パrameter γ の異なる値に対しても、アルゴリズムの安定性、特にクラスタリングパスの生成において一貫性があるか？
• RQ5 高次元で大規模なサンプルサイズを持つ実世界のデータセットを効率的に処理できるか？

主な発見

• 提案されたSsnalアルゴリズムは、ℝ³内の200,000点の問題を約6分で解けることから、強力なスケーラビリティを示している。
• n=10,000のMNISTデータセットでは、Ssnalは69.3秒で完了するが、AMAは100,000反復内でも収束しなかった。
• Ssnalはγの値にかかわらずAMAよりも著しく安定しており、クラスタリングパス全体で一貫した性能を発揮する。
• 計算時間はnおよびkに対してほぼ線形に増加し、大規模問題に対するアルゴリズムのスケーラビリティを裏付けている。
• SsnalはAMAおよびADMMよりもスピードとロバスト性の両面で優れており、特に大規模データセットや高次元データに対して顕著である。
• 一般重み付き凸クラスタリングモデルに対して理論的回復保証を確立し、先行研究が均一重みに限った結果を拡張した。

Figure 2: Left panel: $\|X^{*}-\hat{X}\|$ vs $\gamma$ ; Right panel: number of clusters vs $\gamma$ .