[論文レビュー] An Efficient Smoothing Proximal Gradient Algorithm for Convex Clustering

Xin Zhou, Chunlei Du+1 more|arXiv (Cornell University)|Jun 22, 2020

Sparse and Compressive Sensing Techniques参考文献 32被引用数 5

ひとこと要約

本稿では、凸クラスタリングのための新しいスムージング近接勾配法Sprogaを提案する。ADMMおよびAMAベースの手法と比較して、収束が著しく速く、メモリ使用量も大幅に少ない。最大で2桁速く、1桁分のメモリ効率が向上する。Sprogaは同時に特徴選択を実行し、グローバル最適クラスタリングを実現し、シミュレーションおよび実データにおいてK-means、階層的クラスタリング、DBSCAN、SPECC、Louvainを凌駕する。

ABSTRACT

Cluster analysis organizes data into sensible groupings and is one of fundamental modes of understanding and learning. The widely used K-means and hierarchical clustering methods can be dramatically suboptimal due to local minima. Recently introduced convex clustering approach formulates clustering as a convex optimization problem and ensures a globally optimal solution. However, the state-of-the-art convex clustering algorithms, based on the alternating direction method of multipliers (ADMM) or the alternating minimization algorithm (AMA), require large computation and memory space, which limits their applications. In this paper, we develop a very efficient smoothing proximal gradient algorithm (Sproga) for convex clustering. Our Sproga is faster than ADMM- or AMA-based convex clustering algorithms by one to two orders of magnitude. The memory space required by Sproga is less than that required by ADMM and AMA by at least one order of magnitude. Computer simulations and real data analysis show that Sproga outperforms several well known clustering algorithms including K-means and hierarchical clustering. The efficiency and superior performance of our algorithm will help convex clustering to find its wide application.

研究の動機と目的

• ADMMおよびAMAに基づく最先端の凸クラスタリングアルゴリズムの高い計算およびメモリ要件に対処すること。
• 実行時間とメモリ使用量を削減しながら、グローバル最適性を保証する、より効率的な凸クラスタリングの最適化フレームワークの開発。
• 大規模かつ高次元のデータ環境における凸クラスタリングの実用的導入を可能にすること。
• 特徴選択をクラスタリングプロセスにスムーズに統合し、性能向上を図ること。

提案手法

• Sprogaは、凸クラスタリングにおける非微分可能で非滑らかな融合ラasso型ペナルティを扱うために、非滑らかな凸最適化のためのスムージング技術を採用する。
• アルゴリズムは、適応的スムージングパラメータを用いた近接勾配法を用い、滑らかに近似された目的関数を反復的に最小化する。
• 部分勾配解析から導かれた閉形式解を用いて、グループラasso型ペナルティの近接作用素を計算する。
• 滑らかに近似された関数における勾配降下ステップと、クラスタリングおよび特徴選択を強制する近接更新ステップを交互に実行する。
• 収束速度と精度のバランスを取るために、スムージングパラメータを動的に調整する。
• 理論的分析により、Sprogaが凸クラスタリング問題のグローバル最適解に収束することが示された。

実験結果

リサーチクエスチョン

• RQ1 スムージングに基づく近接勾配法は、凸クラスタリングにおいてADMMおよびAMAよりも著しく高速な収束と低いメモリ使用量を達成できるか？
• RQ2 提案されたSprogaアルゴリズムは、同時にクラスタリングと特徴選択を実行しながらも、グローバル最適性を維持できるか？
• RQ3 合成データおよび実データにおいて、SprogaはK-means、階層的クラスタリング、DBSCAN、SPECC、Louvainと比較して、性能および効率で優れているか？
• RQ4 クラスタリングパスにおいて、すべての点が完全に統合されたり分離されたりするのを保証するための調整パラメータλおよびγの理論的境界は何か？
• RQ5 スムージング技術は、凸クラスタリングにおける非滑らかなℓqノルムペナルティを、収束保証を損なわず効果的に処理できるか？

主な発見

• Sprogaは、ADMMおよびAMAベースの凸クラスタリングアルゴリズムと比較して、収束速度が1〜2桁速い。
• Sprogaのメモリ使用量は、ADMMおよびAMAの少なくとも1桁小さい。
• シミュレーションおよび実データにおいて、SprogaはK-means、階層的クラスタリング、DBSCAN、SPECC、Louvainと比較して、クラスタリングの正確性と安定性において一貫して優れている。
• アルゴリズムは同時にクラスタリングと特徴選択を実行でき、性能向上に寄与する関連する特徴を同定した。
• 理論的分析により、Sprogaが凸クラスタリング問題のグローバル最適解に収束することが確認された。
• λおよびγの境界は、λ_min < min_{(i,j)∈ℰ} ||x_i - x_j||₂ / (2ω_ij) および γ_max = max_{k=1,...,p} ||X_{k,.}||₂ / ν_k として導出され、適切なクラスタリングパスの挙動を保証する。