[논문 리뷰] Convex Clustering: Model, Theoretical Guarantee and Efficient Algorithm

Defeng Sun, Kim-Chuan Toh외 1명|PolyU Institutional Research Archive (Hong Kong Polytechnic University)|2018. 10. 04.

Sparse and Compressive Sensing Techniques인용 수 9

한 줄 요약

이 논문은 대규모 볼록 군집화에 대해 이론적 복원 보장을 갖는 세미스무스 뉴턴 기반 증강 라그랑주 방법(Ssnal)을 제안한다. 일반 가중치 볼록 군집화 모델에서 완벽한 복원을 위한 충분조건을 수립하고, 뛰어난 효율성과 확장성을 입증하며, ℝ³ 내 200,000개 점 문제를 약 6분 만에 해결함으로써 AMA 및 ADMM과 같은 1차 방법보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

Clustering is a fundamental problem in unsupervised learning. Popular methods like K-means, may suffer from poor performance as they are prone to get stuck in its local minima. Recently, the sum-of-norms (SON) model (also known as the clustering path) has been proposed in Pelckmans et al. (2005), Lindsten et al. (2011) and Hocking et al. (2011). The perfect recovery properties of the convex clustering model with uniformly weighted all pairwise-differences regularization have been proved by Zhu et al. (2014) and Panahi et al. (2017). However, no theoretical guarantee has been established for the general weighted convex clustering model, where better empirical results have been observed. In the numerical optimization aspect, although algorithms like the alternating direction method of multipliers (ADMM) and the alternating minimization algorithm (AMA) have been proposed to solve the convex clustering model (Chi and Lange, 2015), it still remains very challenging to solve large-scale problems. In this paper, we establish sufficient conditions for the perfect recovery guarantee of the general weighted convex clustering model, which include and improve existing theoretical results as special cases. In addition, we develop a semismooth Newton based augmented Lagrangian method for solving large-scale convex clustering problems. Extensive numerical experiments on both simulated and real data demonstrate that our algorithm is highly efficient and robust for solving large-scale problems. Moreover, the numerical results also show the superior performance and scalability of our algorithm comparing to the existing first-order methods. In particular, our algorithm is able to solve a convex clustering problem with 200,000 points in $\mathbb{R}^3$ in about 6 minutes.

연구 동기 및 목표

• 일반 가중치 볼록 군집화 모델에서 완벽한 복원을 위한 이론적 조건을 수립하여, 이전 연구에서 다룬 균일 가중치에 국한된 결과를 일반화한다.
• 대규모 볼록 군집화 문제를 해결하기 위한 효율적이고 확장 가능한 최적화 알고리즘을 개발한다.
• AMA 및 ADMM과 같은 1차 방법의 한계를 극복하여, 대규모 데이터셋에서 느린 수렴과 높은 계산 비용 문제를 해결한다.
• 정규화 매개변수(γ)의 다양한 값에서도 강력하고 안정적인 알고리즘을 보장하여 군집 경로 생성 시 일관된 성능을 확보한다.
• 실세계 데이터셋(수천에서 수십만 개 점)에 대해 볼록 군집화의 실용적 구현을 가능하게 한다.

제안 방법

• 두 번째 차수 일반화 헤시안 정보를 활용해 더 빠른 수렴을 이끌어내는 세미스무스 뉴턴 기반 증강 라그랑주 방법(Ssnal)을 제안한다.
• 비어 있지 않은 가중치를 근처 쌍에 국한하기 위해 이웃성 그래프(k-최근접 이웃)를 사용하여 가중치 집합 𝒪를 정의함으로써 계산 비용을 감소시킨다.
• 뉴턴 시스템을 효율적으로 해결하기 위해 세미스무스 뉴턴 프레임워크 내부에서 공액 기울기(CG) 방법을 활용하며, 반복당 복잡도는 O(d|𝒪| + d|𝒪̂|)이다.
• 전역 수렴과 강건성을 보장하기 위해 적응형 선 탐색과 정확한 스텝 길이 규칙을 적용한다.
• 증강 라그랑주 프레임워크를 세미스무스 뉴턴 방법과 융합하여 볼록 군집화 모델의 이중 문제를 해결한다.
• 여러 γ 값에 걸쳐 군집 경로를 해결하기 위해 온난 스타트 전략을 통합하여 효율성을 향상시킨다.

Figure 1: Visualization of the generated data.

실험 결과

연구 질문

• RQ1 일반 가중치 볼록 군집화 모델에서 완벽한 복원을 위한 충분조건는 무엇이며, 이는 이전 연구에서 다룬 결과를 어떻게 일반화하는가?
• RQ2 세미스무스 뉴턴과 같은 2차 방법이 AMA와 같은 1차 방법에 비해 대규모 볼록 군집화 문제 해결의 효율성을 뚜렷이 향상시킬 수 있는가?
• RQ3 제안된 알고리즘(Ssnal)의 성능은 데이터 크기(n)와 이웃성 크기(k)에 따라 어떻게 변화하는가?
• RQ4 특히 군집 경로 생성 시, 다양한 정규화 매개변수 γ 값에서 알고리즘이 얼마나 안정적인가?
• RQ5 고차원성과 대규모 샘플 크기를 갖는 실세계 데이터셋을 효율적으로 처리할 수 있는가?

주요 결과

• 제안된 Ssnal 알고리즘은 ℝ³ 내 200,000개 점 문제를 약 6분 만에 해결하여 뛰어난 확장성을 입증한다.
• n=10,000인 MNIST 데이터셋에서 Ssnal은 69.3초 만에 완료되며, AMA는 100,000 반복 이내에 수렴하지 못한다.
• Ssnal은 γ 값의 다양한 설정에서 AMA보다 훨씬 더 안정적이며, 군집 경로 전반에서 일관된 성능을 보인다.
• 계산 시간은 n과 k에 대해 거의 선형적으로 증가하여, 대규모 문제에 대한 알고리즘의 확장성을 확인한다.
• 특히 대규모 데이터셋과 고차원 데이터에서 Ssnal은 속도와 강건성 면에서 AMA 및 ADMM을 뛰어넘는다.
• 일반 가중치 볼록 군집화 모델에 대해 이론적 복원 보장을 수립하였으며, 이는 이전 연구에서 균일 가중치에만 적용된 결과를 일반화한 것이다.

Figure 2: Left panel: $\|X^{*}-\hat{X}\|$ vs $\gamma$ ; Right panel: number of clusters vs $\gamma$ .