[논문 리뷰] k-Means Clustering of Lines for Big Data

Yair Marom, Dan Feldman|arXiv (Cornell University)|2019. 03. 16.

Machine Learning and Algorithms참고 문헌 33인용 수 7

한 줄 요약

이 논문은 ℝᵈ에서 k-line median 클러스터링에 대한 최초의 다항식 시간 근사 스킴(Polynomial-Time Approximation Scheme, PTAS)을 제안하며, 상수 k, d, ε에 대해 O(n log n) 시간 내에 (1+ε)-근사해를 달성한다. 이는 크기가 dk^O(k) log n / ε²인 코어세트를 도입하여 M대의 머신에서 근사적으로 로그 수준의 메모리, 통신, 업데이트 비용을 가지며 효율적인 스트리밍 및 분산 계산을 가능하게 한다. 실험을 통해 Amazon EC2 및 컴퓨터 비전과 이상 탐지 분야의 실제 응용에서 검증되었다.

ABSTRACT

The input to the $k$-median for lines problem is a set $L$ of $n$ lines in $\mathbb{R}^d$, and the goal is to compute a set of $k$ centers (points) in $\mathbb{R}^d$ that minimizes the sum of squared distances over every line in $L$ and its nearest center. This is a straightforward generalization of the $k$-median problem where the input is a set of $n$ points instead of lines. We suggest the first PTAS that computes a $(1+ε)$-approximation to this problem in time $O(n \log n)$ for any constant approximation error $ε\in (0, 1)$, and constant integers $k, d \geq 1$. This is by proving that there is always a weighted subset (called coreset) of $dk^{O(k)}\log (n)/ε^2$ lines in $L$ that approximates the sum of squared distances from $L$ to any given set of $k$ points. Using traditional merge-and-reduce technique, this coreset implies results for a streaming set (possibly infinite) of lines to $M$ machines in one pass (e.g. cloud) using memory, update time and communication that is near-logarithmic in $n$, as well as deletion of any line but using linear space. These results generalized for other distance functions such as $k$-median (sum of distances) or ignoring farthest $m$ lines from the given centers to handle outliers. Experimental results on 10 machines on Amazon EC2 cloud show that the algorithm performs well in practice. Open source code for all the algorithms and experiments is also provided. This thesis is an extension of the following accepted paper: "$k$-Means Clustering of Lines for Big Data", by Yair Marom & Dan Feldman, Proceedings of NeurIPS 2019 conference, to appear on December 2019.

연구 동기 및 목표

• 고차원 공간에서 k-line median 클러스터링에 대한 효율적인 근사 알고리즘이 부족한 문제를 해결한다.
• 임의의 k개의 중심점에서의 제곱거리 합을 유지하면서 입력 크기를 줄이는 코어세트 구축 방법을 개발한다.
• 코어세트와 머지-애드리스(Merge-and-Reduce) 기법을 활용해 k-line median의 효율적인 분산 및 스트리밍 계산을 가능하게 한다.
• 드론 자세 추정 및 컴퓨터 비전 분야의 이상 탐지와 같은 실제 응용에서 방법을 검증한다.
• 이상치를 처리하고 k-median 및 강건 클러스터링과 같은 다른 거리 함수를 지원하도록 프레임워크를 확장한다.

제안 방법

• ℝᵈ에서 k-line median에 대해 크기가 dk^O(k) log n / ε²인 (1+ε)-근사 코어세트의 존재를 증명한다.
• 감도 샘플링(sensitivity sampling)을 사용하여 각 선이 최적 비용에 기여하는 비율에 비례해 가중치를 할당함으로써 코어세트를 계산한다.
• 스트리밍 및 M대의 머신 간 분산 처리를 지원하기 위해 머지-애드리스 기법을 적용한다.
• 후보 중심점 집합을 출력하는 이중기준 근사 알고리즘을 설계하여, 그로부터 (1+ε)-근사해를 유도할 수 있도록 한다.
• VC차원 경계를 활용하여 다양한 거리 함수 하에서 코어세트의 일반화 및 안정성을 보장한다.
• 실제 클라우드 인프라에 구현 및 평가하기 위해 코어세트 기반의 EM 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 n에 대해 비선형이고 k 및 1/ε에 대해 다항식인 크기의 (1+ε)-근사 코어세트를 ℝᵈ에서 k-line median에 대해 구성할 수 있는가?
• RQ2 이 코어세트를 사용하여 근사적으로 로그 수준의 메모리, 통신, 업데이트 시간을 유지하는 스트리밍 또는 분산 알고리즘을 설계할 수 있는가?
• RQ3 이상 탐지 작업에서 표준 히وري스틱 기법인 RANSAC 및 EM과 비교할 때, 코어세트 기반 접근법은 정확도와 안정성 측면에서 어떻게 성능을 내는가?
• RQ4 이 프레임워크는 k-median 및 이상치를 포함한 강건 클러스터링을 처리하도록 확장할 수 있는가?
• RQ5 다중 카메라 시야에서의 3D 자세 추정과 같은 실제 응용에서 코어세트의 경험적 성능은 어떠한가?

주요 결과

• 제안된 코어세트 구축 방법은 O(n log n) 시간 내에 k-line median에 대해 (1+ε)-근사해를 달성하며, 코어세트 크기는 dk^O(k) log n / ε²이다.
• 코어세트를 통해 각 머신이 메인 서버에 전송하는 라인 수가 O(log n)에 불과한 스트리밍 알고리즘이 가능해져 근사적으로 로그 수준의 통신 및 업데이트 시간을 확보한다.
• Amazon EC2에서 10대의 머신을 사용한 실험 결과, 코어세트 구축 시간은 머신 수의 증가에 따라 거의 선형적으로 감소함을 확인하였다.
• 이상 탐지 작업에서 코어세트는 m=1000개의 샘플로 ε=0.4의 오차를 기록했으며, 동일 조건에서 RANSAC는 오차가 1.8로 떨어져 더 높은 정확도를 보였다.
• 10%의 샘플 크기로 평균 3.2개의 이상치(전체 6개 중)를 탐지한 반면, RANSAC는 1개 미만의 이상치만 탐지하여 더 뛰어난 샘플링 품질을 입증하였다.
• 시각화 결과 코어세트에서 탐지된 이상치가 전역적·국소적으로 우세한 경향을 보였고, 반면 RANSAC는 핵심 이상치를 놓쳤다. 이는 더 뛰어난 강건성과 정확도를 의미한다.