[논문 리뷰] Strong Coresets for k-Median and Subspace Approximation: Goodbye Dimension

Christian Sohler, David P. Woodruff|arXiv (Cornell University)|2018. 09. 09.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 4

한 줄 요약

이 논문은 p ≥ 1인 p-노름에 대해 이전 연구를 일반화하는 새로운 차원 감소 기법을 사용하여, n과 d에 종속되지 않는 크기의 poly(k/ε)인 첫 번째 강력한 코어셋을 k-미디안 및 부분공간 근사에 대해 제안한다. 이 방법은 O(nnz(A)) + (n+d)poly(k/ε) + exp(poly(k/ε)) 시간 내에 효율적인 코어셋 구축을 가능하게 하며, 모든 중심 집합에 동시에 (1+ε)-근사값을 달성한다.

ABSTRACT

We obtain the first strong coresets for the $k$-median and subspace approximation problems with sum of distances objective function, on $n$ points in $d$ dimensions, with a number of weighted points that is independent of both $n$ and $d$; namely, our coresets have size $ ext{poly}(k/ε)$. A strong coreset $(1+ε)$-approximates the cost function for all possible sets of centers simultaneously. We also give efficient $ ext{nnz}(A) + (n+d) ext{poly}(k/ε) + \exp( ext{poly}(k/ε))$ time algorithms for computing these coresets. We obtain the result by introducing a new dimensionality reduction technique for coresets that significantly generalizes an earlier result of Feldman, Sohler and Schmidt \cite{FSS13} for squared Euclidean distances to sums of $p$-th powers of Euclidean distances for constant $p\ge1$.

연구 동기 및 목표

• 데이터 차원 d와 샘플 수 n에 종속되지 않는 k-미디안 및 부분공간 근사에 대한 강력한 코어셋을 개발하기 위해.
• 이전 코어셋 방법이 특히 거리 합 목적 함수에 대해 d나 n에 선형으로 크기가 필요한 제한을 극복하기 위해.
• Feldman 등이 제안한 차원 감소 기법을 제곱 ℓ2 거리에서 일반 ℓp 거리로 p ≥ 1 범위로 일반화하기 위해.
• 모든 가능한 중심 집합에 동시에 (1+ε)-근사값을 달성하여 후속 응용에서 강건하게 사용할 수 있도록 하기 위해.
• 입력 흐린도에 비례한 거의 선형 시간 복잡도와 poly(k/ε) 출력 크기를 갖는 효율적인 코어셋 구축 알고리즘 설계하기 위해.

제안 방법

• 입력 점들을 ℓp 거리를 p ≥ 1 범위에서 유지하면서 poly(k/ε)-차원 부분공간으로 투영하는 새로운 차원 감소 프레임워크 도입.
• 무작위 스케치와 직교 투영을 사용하여 환경 차원을 O(k/ε²)로 감소시키며, k-미디안 및 부분공간 근사 비용을 (1±ε) 이내로 유지.
• 감소된 공간에서 코어셋 구축(예: [12] 또는 [4]에서 제안한 방법)을 적용하여 모든 중심 집합을 근사하는 크기 poly(k/ε)의 가중 집합 확보.
• 좌표 복구를 통해 코어셋을 원래 공간으로 변환하여, 최종 코어셋이 임의의 k-중심 집합으로의 거리를 유지함을 보장.
• 직교 변환이 ℓ2 거리를 유지하므로, 코어셋이 원래 공간에서도 유효함을 활용.
• 샘플링과 재스케일링 행렬을 사용하여 투영된 데이터에서 최종 코어셋 점들을 효율적으로 선택하고 가중치를 설정함.

실험 결과

연구 질문

• RQ1 k-미디안 및 부분공간 근사에 대해 n과 d에 종속되지 않는 크기의 강력한 코어셋을 구축할 수 있는가?
• RQ2 ℓ2 거리에 사용된 차원 감소 기법을 p ≥ 1인 ℓp 거리로 일반화할 수 있는가?
• RQ3 크기가 poly(k/ε)인 코어셋을 사용하여 모든 k-중심 집합에 동시에 (1+ε)-근사값을 달성할 수 있는가?
• RQ4 이러한 코어셋의 구축 시간 복잡도는 무엇이며, 입력 흐린도에 비례한 거의 선형 시간으로 만들 수 있는가?
• RQ5 제안된 방법을 사용하여 분산 또는 스트리밍 환경에서도 코어셋을 효율적으로 계산할 수 있는가?

주요 결과

• 논문은 n과 d에 종속되지 않는 크기의 poly(k/ε)인 k-미디안 및 부분공간 근사에 대해 첫 번째 강력한 코어셋을 구축한다.
• 코어셋 구축은 O(nnz(A)) + (n+d)poly(k/ε) + exp(poly(k/ε)) 시간 내에 수행되며, 모든 k-중심 집합에 동시에 (1+ε)-근사값을 달성한다.
• 이 방법은 ℓ2 기반 코어셋에 대한 이전 연구를 일반 ℓp 거리(p ≥ 1)로 일반화하여 더 넓은 적용 가능성을 제공한다.
• k-미디안의 경우 코어셋 크기는 O(k² log k / ε⁴)이며, 모든 중심 집합에 대해 (1+ε)-상대 오차를 보장한다.
• 저스트레치 또는 흐린 입력 환경에서도 효율적인 계산이 가능하며, 입력 흐린도에 비례한 거의 선형 시간 복잡도를 확보한다.
• 정확도는 원래 공간 → 감소된 부분공간 → 감소된 공간 내 코어셋 → 원래 공간으로의 연속적인 근사 체인을 통해 확보되며, 각 단계에서 오차가 ε 이내이다.