[논문 리뷰] A Unified Framework for Approximating and Clustering Data

Dan Feldman, Michael Langberg|arXiv (Cornell University)|2011. 06. 07.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 9

한 줄 요약

이 논문은 VC 이론의 $\varepsilon$-근사 개념으로 문제를 축소시켜, 다양한 형태 피팅 및 클러스터링 문제에 대한 코어셋과 근사 클러스터링 해를 통합된 프레임워크로 제안한다. 이 방법은 증명 가능하고 작은 크기의 코어셋을 효율적으로 스트리밍 친화적으로 계산할 수 있게 하여, $k$-미디안, 투영 클러스터링, 저랭크 근사와 같은 문제에서 실행 시간과 코어셋 크기 모두 크게 향상된다. 기존의 코어셋이 존재하지 않는 경우조차도 성능을 보장한다.

ABSTRACT

Given a set $F$ of $n$ positive functions over a ground set $X$, we consider the problem of computing $x^*$ that minimizes the expression $\sum_{f\in F}f(x)$, over $x\in X$. A typical application is \emph{shape fitting}, where we wish to approximate a set $P$ of $n$ elements (say, points) by a shape $x$ from a (possibly infinite) family $X$ of shapes. Here, each point $p\in P$ corresponds to a function $f$ such that $f(x)$ is the distance from $p$ to $x$, and we seek a shape $x$ that minimizes the sum of distances from each point in $P$. In the $k$-clustering variant, each $x\in X$ is a tuple of $k$ shapes, and $f(x)$ is the distance from $p$ to its closest shape in $x$. Our main result is a unified framework for constructing {\em coresets} and {\em approximate clustering} for such general sets of functions. To achieve our results, we forge a link between the classic and well defined notion of $\varepsilon$-approximations from the theory of PAC Learning and VC dimension, to the relatively new (and not so consistent) paradigm of coresets, which are some kind of "compressed representation" of the input set $F$. Using traditional techniques, a coreset usually implies an LTAS (linear time approximation scheme) for the corresponding optimization problem, which can be computed in parallel, via one pass over the data, and using only polylogarithmic space (i.e, in the streaming model). We show how to generalize the results of our framework for squared distances (as in $k$-mean), distances to the $q$th power, and deterministic constructions.

연구 동기 및 목표

• 다양한 클러스터링 및 형태 피팅 문제 간에 코어셋을 구성하는 데 있어 일반적인 방법의 부족을 해결하기 위해.
• VC 이론에서 잘 알려진 $\varepsilon$-근사 개념으로 코어셋 구성 문제를 통합적으로 환원하기 위해.
• 다항로그 시간 복잡도를 사용하여 효율적이고 스트리밍 처리 및 병렬 처리가 가능한 코어셋 계산을 가능하게 하기 위해.
• 기존 코어셋이 존재하지 않거나 최적화가 어려운 경우를 다루기 위해, 이중 기준 근사 또는 저차원의 큰 코어셋을 제공하기 위해.
• 기본 문제들인 $k$-미디안, $k$-라인 미디안, 저랭크 근사에 대해 코어셋 크기와 실행 시간을 이전 작업보다 크게 줄이기 위해.

제안 방법

• VC 차원 이론을 사용하여 $\varepsilon$-근사 구축 문제로 코어셋 구성 문제를 환원한다.
• 함수 복잡도와 VC 차원에 기반한 중요도 가중치를 사용하는 샘플링 기반 접근법을 사용한다.
• 두 단계의 구성 전략을 적용한다: 먼저 $\varepsilon$-근사를 통해 저차원 공간에서 큰 코어셋을 구축한 후, SVD 또는 부분공간 근사 기법을 사용하여 크기를 $O(s)$로 압축한다.
• 정확한 코어셋이 증명적으로 불가능한 경우 이중 기준 근사 전략을 사용하여 일정 요소 근사 보장을 확보한다.
• 코어셋 구성 중 비용 근사도를 유지하기 위해 프로베니우스 노름과 행렬 분해(QR/SVD)를 활용한다.
• 저랭크 투영에 따른 비용 함수의 안정성을 활용하여, 모든 쿼리 중심점에 대해 근사 오차를 제한한다.

실험 결과

연구 질문

• RQ1 일관된 일반 프레임워크가 다양한 클러스터링 및 형태 피팅 문제 간의 코어셋 구성 문제를 통합할 수 있는가?
• RQ2 VC 이론에서 유래한 $\varepsilon$-근사 개념이 증명 가능 보장을 갖는 코어셋을 구성하는 데 효과적으로 재사용될 수 있는가?
• RQ3 다항로그 공간 복잡도와 단일 패assing 처리 조건 하에서 스트리밍 모델에서 코어셋을 효율적으로 구성할 수 있는가?
• RQ4 기존 코어셋이 존재하지 않는 문제들(예: $\mathbb{R}^2$ 내의 $k$-라인 미디안 또는 가중치가 부여된 $k$-클러스터링)을 어떻게 다룰 수 있는가?
• RQ5 이 프레임워크는 $k$-미디안, 투영 클러스터링, 저랭크 근사 문제에서 이전 작업보다 더 작은 코어셋 크기와 더 빠른 실행 시간을 달성할 수 있는가?

주요 결과

• 프레임워크는 $k$-미디안, $k$-라인 미디안, 투영 클러스터링 문제에 대해 $O(s)$ 크기의 코어셋을 구성하여 이전의 구성보다 크게 작아졌다.
• $k$-미디안 문제에서는 실행 시간이 $O(ndr)$로 향상되었으며, 여기서 $r$은 입력의 랭크이다. 이는 이전 방법보다 뛰어나다.
• 크기 $O(s)$의 코어셋을 사용하여 최적 해에 대해 $(1 + \varepsilon)$-근사 보장을 달성하였으며, 총 실행 시간은 $O(a + s^2 + ds\min\{s,d\})$이다.
• 코어셋이 존재하지 않는 문제들(예: $\mathbb{R}^2$ 내의 $k$-라인)에 대해서는 일정 요소 보장이 있는 이중 기준 근사 보장을 제공한다.
• 제곱 거리에 대해 $10\varepsilon$의 근사 오차 한계를 확보하여 모든 쿼리 중심점에서 비용 유지가 보장된다.
• 이 프레임워크는 $\ell_p$ 회귀, 저랭크 근사, 부분공간 근사 문제로 일반화되며, 더 작은 코어셋 크기와 더 빠른 알고리즘을 제공한다.