[논문 리뷰] An Efficient Smoothing Proximal Gradient Algorithm for Convex Clustering

Xin Zhou, Chunlei Du외 1명|arXiv (Cornell University)|2020. 06. 22.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 5

한 줄 요약

이 논문은 Sproga를 제안하며, 이는 ADMM 및 AMA 기반 방법보다 훨씬 빠른 수렴 속도와 낮은 메모리 사용량을 보이는 볼록 군집화를 위한 새로운 스무딩 프oks기법이다. 수렴 속도는 최대 두 계단 빠르며, 메모리 효율성은 한 계단 높다. Sproga는 동시에 특징 선택을 수행하면서 전역 최적의 군집화를 가능하게 하여 시뮬레이션과 실제 데이터에서 K-means, 계층적 군집화, DBSCAN, SPECC 및 Louvain보다 뛰어난 성능을 발휘한다.

ABSTRACT

Cluster analysis organizes data into sensible groupings and is one of fundamental modes of understanding and learning. The widely used K-means and hierarchical clustering methods can be dramatically suboptimal due to local minima. Recently introduced convex clustering approach formulates clustering as a convex optimization problem and ensures a globally optimal solution. However, the state-of-the-art convex clustering algorithms, based on the alternating direction method of multipliers (ADMM) or the alternating minimization algorithm (AMA), require large computation and memory space, which limits their applications. In this paper, we develop a very efficient smoothing proximal gradient algorithm (Sproga) for convex clustering. Our Sproga is faster than ADMM- or AMA-based convex clustering algorithms by one to two orders of magnitude. The memory space required by Sproga is less than that required by ADMM and AMA by at least one order of magnitude. Computer simulations and real data analysis show that Sproga outperforms several well known clustering algorithms including K-means and hierarchical clustering. The efficiency and superior performance of our algorithm will help convex clustering to find its wide application.

연구 동기 및 목표

• ADMM 및 AMA 기반 최신 볼록 군집화 알고리즘의 높은 계산 및 메모리 요구량을 해결하기 위해.
• 전역 최적성 보장을 보장하면서도 런타임과 메모리 사용량을 줄이는 더 효율적인 최적화 프레임워크를 개발하기 위해.
• 대규모 및 고차원 데이터 환경에서 볼록 군집화의 실용적 구현을 가능하게 하기 위해.
• 성능 향상을 위해 군집화 과정에 특징 선택을 원활하게 통합하기 위해.

제안 방법

• Sproga는 볼록 군집화에서 비가속도적인 융합 라소 유형의 페널티를 다루기 위해 비가속도 최적화를 위한 스무딩 기법을 사용한다.
• 알고리즘은 적응형 스무딩 파라미터를 사용하는 프oks기법을 통해 스무딩된 목적 함수를 반복적으로 최소화한다.
• 하위미분 분석에서 유도된 폐쇄형 해를 통해 그룹 라소 유형의 페널티에 대한 프oks기계를 계산한다.
• 이 방법은 부드러운 근사에 대한 경사 하강 단계와 군집화 및 특징 선택을 강제하는 프oks기계 업데이트를 번갈아가며 수행한다.
• 알고리즘은 수렴 속도와 정확도 사이의 균형을 맞추기 위해 스무딩 파라미터를 동적으로 조정한다.
• 이론적 분석을 통해 Sproga가 볼록 군집 문제의 전역 최적 해로 수렴함을 확인하였다.

실험 결과

연구 질문

• RQ1 스무딩 기반 프oks기법이 ADMM 및 AMA보다 볼록 군집에서 훨씬 더 빠른 수렴 속도와 낮은 메모리 사용량을 달성할 수 있는가?
• RQ2 제안된 Sproga 알고리즘이 동시에 군집화와 특징 선택을 수행하면서도 전역 최적성을 유지하는가?
• RQ3 Sproga는 시뮬레이션 및 실제 데이터 세트에서 K-means, 계층적 군집화, DBSCAN, SPECC 및 Louvain과 비교해 성능 및 효율성이 뛰어나게 되는가?
• RQ4 모든 점이 군집 경로에서 완전히 병합되거나 분리되도록 보장하기 위한 조정 파라미터 λ 및 γ의 이론적 범위는 무엇인가?
• RQ5 스무딩 기법이 수렴 보장을 훼손시키지 않고도 볼록 군집에서 비가속도 ℓq-노름 페널티를 효과적으로 다룰 수 있는가?

주요 결과

• Sproga는 ADMM 및 AMA 기반 볼록 군집화 알고리즘보다 수렴 속도가 최대 한 계단에서 두 계단 빠르게 한다.
• Sproga의 메모리 사용량은 ADMM 및 AMA보다 최소 한 계단 높은 효율성을 보인다.
• 시뮬레이션 및 실제 데이터에서 Sproga는 K-means, 계층적 군집화, DBSCAN, SPECC 및 Louvain보다 군집 정확도와 안정성에서 뛰어난 성능을 보인다.
• 알고리즘은 동시에 군집화와 특징 선택을 성공적으로 수행하여 성능 향상을 위한 관련 특징을 식별한다.
• 이론적 분석을 통해 Sproga가 볼록 군집 문제의 전역 최적 해로 수렴함을 확인하였다.
• λ 및 γ에 대한 경계는 λ_min < min_{(i,j)∈ℰ} ||x_i - x_j||₂ / (2ω_ij) 및 γ_max = max_{k=1,...,p} ||X_{k,.}||₂ / ν_k 로 유도되었으며, 이는 적절한 군집 경로 행동을 보장한다.