[논문 리뷰] Performance of Johnson-Lindenstrauss Transform for k-Means and k-Medians Clustering

Konstantin Makarychev, Yury Makarychev외 1명|arXiv (Cornell University)|2018. 11. 08.

Automated Road and Building Extraction인용 수 6

한 줄 요약

이 논문은 데이터를 O(log(k/ε)/ε²) 차원으로 투영할 때, 임의의 k-means 또는 k-medians 클러스터링 해의 비용이 (1+ε) 요인 내에서 유지됨을 입증한다. 이 결과는 모든 하위가우시안 尾 꼬리 분포를 갖는 차원 감소 맵에 대해 성립하며, k-means에 대한 열린 문제를 해결하고, p≥1인 일반적인 ℓp-클러스터링으로 확장된다.

ABSTRACT

Consider an instance of Euclidean $k$-means or $k$-medians clustering. We show that the cost of the optimal solution is preserved up to a factor of $(1+\varepsilon)$ under a projection onto a random $O(\log(k / \varepsilon) / \varepsilon^2)$-dimensional subspace. Further, the cost of every clustering is preserved within $(1+\varepsilon)$. More generally, our result applies to any dimension reduction map satisfying a mild sub-Gaussian-tail condition. Our bound on the dimension is nearly optimal. Additionally, our result applies to Euclidean $k$-clustering with the distances raised to the $p$-th power for any constant $p$. For $k$-means, our result resolves an open problem posed by Cohen, Elder, Musco, Musco, and Persu (STOC 2015); for $k$-medians, it answers a question raised by Kannan.

연구 동기 및 목표

• 모든 클러스터링 해에 대해 (1+ε) 요인 내에서 비용을 유지하는 k-means 및 k-medians 클러스터링을 위한 차원 감소 보장을 확립하는 것.
• Cohen 등이 (STOC 2015)에서 제기한, JL 변환이 k-means 클러스터링에 적용 가능한지에 대한 열린 문제를 해결하는 것.
• k-means를 초월해 임의의 상수 p≥1에 대해 일반적인 ℓp-클러스터링으로 분석을 확장하는 것.
• 차원 수 bound가 거의 최적임을 보이고, 최적 해가 아니라 모든 가능한 클러스터링에 대해 균일하게 적용된다는 것을 보여주는 것.

제안 방법

• ℝ^m → ℝ^d로의 하위가우시안 꼬리 분포를 갖는 무작위 투영 맵 π를 사용하여 차원을 감소시키면서 클러스터링 비용을 유지한다.
• 모든 데이터 세트 X의 분할 𝒞에 대해, 𝒞의 비용이 π(𝒞)의 비용과 (1+ε) 이내에 유지됨을 높은 확률로 보여주는 확률적 추론을 적용한다.
• 클러스터 비용의 투영에 의한 편차를 제한하기 위해 함수 F(v,λ)를 통한 이중적 추론을 사용하며, 볼록 조합과 완화된 삼각 부등식에 의존한다.
• 쌍방의 거리 팽창 그래프와 가중치 벡터 집합 Λ_η를 도입하여, 투영 하에서의 상호 거리 행동을 제어한다.
• 모순 추론을 적용한다: 너무 많은 점들이 (1+ε) 왜곡 한계를 위반한다면, 특정 λ*가 이중 기능의 타당성을 위반하게 된다.
• 결과를 k-means(p=2)와 k-medians(p=1)에 적용하고, 임의의 상수 p≥1에 대해 ℓp-목적 함수로 일반화한다.

실험 결과

연구 질문

• RQ1 Johnson-Lindenstrauss 변환이 차원 감소 중에 모든 가능한 k-클러스터링의 비용을 (1+ε) 요인 내에서 유지할 수 있는가?
• RQ2 모든 클러스터링에 대해 (1+ε)-유지 보장을 보장하기 위해 필요한 최적의 차원 d는 무엇인가? 최적 해가 아니라 모든 클러스터링에 대해 적용된다.
• RQ3 JL 변환은 k-medians 클러스터링 비용을 유지하는가? 이는 이전에 알려진 것보다 더 날카운 차원 수 bound로 증명될 수 있는가?
• RQ4 k-클러스터링에 대해 ℓp-목적 함수를 사용할 때, 차원 수 bound O(log(k/ε)/ε²)가 거의 최적인가?
• RQ5 하위가우시안 꼬리 분포를 갖는 맵를 사용해 일반적인 ℓp-클러스터링에 대해 분석을 확장할 수 있는가?

주요 결과

• 고정된 확률로, 모든 k-클러스터링의 비용이 O(log(k/ε)/ε²) 차원으로 투영된 후 (1+ε) 요인 내에서 유지된다.
• 차원 수 bound d = O(log(k/ε)/ε²)는 거의 최적이며, 최적 해가 아니라 모든 클러스터링에 대해 균일하게 적용된다.
• k-means(p=2)의 경우, Cohen 등이 (STOC 2015)에서 제기한 JL 변환의 적용 가능성에 대한 열린 문제를 해결한다.
• k-medians(p=1)의 경우, Kannan가 제기한 차원 감소 보장에 대한 질문에 답한다.
• 차원 수 bound가 O(p⁴·log(k/εδ)/ε²)로 스케일링되는 바탕으로, 임의의 상수 p≥1에 대해 ℓp-클러스터링으로 분석을 확장한다.
• 결과는 가우시안, 직교, i.i.d. 하위가우시안 투영을 포함한 임의의 하위가우시안 꼬리 분포를 갖는 무작위 투영 맵에 대해 성립한다.