[논문 리뷰] Sparse K-Means with $\ell_{\infty}/\ell_0$ Penalty for High-Dimensional Data Clustering

Xiangyu Chang, Yu Wang외 2명|arXiv (Cornell University)|2014. 03. 31.

Advanced Clustering Algorithms Research참고 문헌 21인용 수 5

한 줄 요약

이 논문은 고차원 클러스터링에서 특징 선택을 향상시키기 위해 ℓ₀/ℓ∞ 페널티를 사용하는 새로운 희소 k-means 프레임워크를 제안한다. 효율적인 반복 알고리즘을 통해 ℓ₀-k-means를 공식화함으로써 이론적 특징 선택 일致성과 합성 및 생물학적 데이터에서 ℓ₁-k-means보다 뛰어난 노이즈 특징 탐지 성능을 달성한다.

ABSTRACT

Sparse clustering, which aims to find a proper partition of an extremely high-dimensional data set with redundant noise features, has been attracted more and more interests in recent years. The existing studies commonly solve the problem in a framework of maximizing the weighted feature contributions subject to a $\ell_2/\ell_1$ penalty. Nevertheless, this framework has two serious drawbacks: One is that the solution of the framework unavoidably involves a considerable portion of redundant noise features in many situations, and the other is that the framework neither offers intuitive explanations on why this framework can select relevant features nor leads to any theoretical guarantee for feature selection consistency. In this article, we attempt to overcome those drawbacks through developing a new sparse clustering framework which uses a $\ell_{\infty}/\ell_0$ penalty. First, we introduce new concepts on optimal partitions and noise features for the high-dimensional data clustering problems, based on which the previously known framework can be intuitively explained in principle. Then, we apply the suggested $\ell_{\infty}/\ell_0$ framework to formulate a new sparse k-means model with the $\ell_{\infty}/\ell_0$ penalty ($\ell_0$-k-means for short). We propose an efficient iterative algorithm for solving the $\ell_0$-k-means. To deeply understand the behavior of $\ell_0$-k-means, we prove that the solution yielded by the $\ell_0$-k-means algorithm has feature selection consistency whenever the data matrix is generated from a high-dimensional Gaussian mixture model. Finally, we provide experiments with both synthetic data and the Allen Developing Mouse Brain Atlas data to support that the proposed $\ell_0$-k-means exhibits better noise feature detection capacity over the previously known sparse k-means with the $\ell_2/\ell_1$ penalty ($\ell_1$-k-means for short).

연구 동기 및 목표

• 기존의 희소 k-means 방법이 여전히 다수의 불필요한 노이즈 특징을 유지하는 데서 비롯하는 한계를 해결한다.
• ℓ₁-k-means에서 사용하는 ℓ₂/ℓ₁ 페널티 프레임워크의 이론적 및 해석 가능성 부족 문제를 극복한다.
• 일致적이고 직관적인 특징 선택을 가능하게 하는 ℓ₀/ℓ∞ 페널티 기반의 새로운 희소 클러스터링 프레임워크를 개발한다.
• 고차원 가우시안 혼합 모델 하에서 특징 선택 일치성에 대한 이론적 보장을 수립한다.
• 제안된 ℓ₀-k-means가 노이즈 특징을 식별하고 제거하는 데 있어 ℓ₁-k-means보다 우수한 성능을 실증적으로 입증한다.

제안 방법

• 고차원 클러스터링 문제에 특화된 최적의 파artitions와 노이즈 특징의 새로운 정의를 제시한다.
• 희소성과 관련 특징 선택을 촉진하기 위해 ℓ₀/ℓ∞ 페널티를 포함한 최적화 문제로 공식화된 새로운 희소 k-means 모델, ℓ₀-k-means를 제안한다.
• 비볼록인 ℓ₀-k-means 문제를 해결하기 위한 효율적인 반복 알고리즘을 설계하여 실용적 구현을 가능하게 한다.
• 이론적 분석을 활용하여 ℓ₀-k-means의 해가 고차원 가우시안 혼합 모델 하에서 특징 선택 일치성을 달성함을 증명한다.
• 스티링거의 근사법과 농도 불등식을 활용하여 고차원 환경에서 잘못된 특징 선택의 확률을 경계한다.
• 분석을 단순화하고 현실 조건 하에서도 이론적 결과가 유지되도록 데이터 행렬을 정규화한다.

실험 결과

연구 질문

• RQ1 ℓ₀/ℓ∞ 페널티를 사용하는 새로운 희소 클러스터링 프레임워크가 ℓ₂/ℓ₁ 페널티 프레임워크의 노이즈 특징 유지를 문제에서 벗어나는가?
• RQ2 데이터가 고차원 가우시안 혼합 모델에서 생성될 경우, ℓ₀-k-means 방법이 이론적 특징 선택 일치성을 달성하는가?
• RQ3 합성 및 실제 데이터에서 ℓ₀-k-means의 노이즈 특징 탐지 및 제거 성능이 ℓ₁-k-means와 비교해 어떻게 다른가?
• RQ4 표본 크기가 증가함에 따라 ℓ₀-k-means 프레임워크 하에서 정확한 특징 선택의 이론적 확률은 어떻게 되는가?
• RQ5 ℓ₀ 페널티의 비볼록성에도 불구하고 ℓ₀-k-means 알고리즘이 효율적으로 구현되고 해석 가능한가?

주요 결과

• ℓ₀-k-means 알고리즘은 특징 선택 일치성을 달성하여 점점 더 많은 표본에서 관련 특징만을 선택하고 모든 노이즈 특징을 배제하는 데 높은 확률을 가진다.
• 고차원 가우시안 혼합 모델 하에서, 표본 크기가 증가함에 따라 ℓ₀-k-means가 관련 특징을 정확히 식별할 확률은 1에 수렴한다.
• 이론적 경계에 따르면, 특징 수가 exp(n∑πₖμₖ²/258)보다 느리게 증가할 경우, 정확한 특징 선택의 확률은 1로 수렴한다.
• 합성 데이터에 대한 실증 결과에서 ℓ₀-k-means는 ℓ₁-k-means가 실패하는 노이즈 특징을 성공적으로 제거한다.
• 앨런 발달 마우스 뇌 어트라스 데이터셋에서 ℓ₀-k-means는 ℓ₁-k-means보다 뛰어난 노이즈 특징 탐지 능력을 보여준다.
• 제안된 방법은 계산적으로 효율적이며 해석 가능하여 기존의 희소 k-means 접근법에 대한 실용적인 대안을 제공한다.