[논문 리뷰] Massively Parallel Algorithms and Hardness for Single-Linkage Clustering Under $\ell_p$-Distances

Grigory Yaroslavtsev, Adithya Vadapalli|arXiv (Cornell University)|2017. 10. 04.

Advanced Clustering Algorithms Research참고 문헌 3인용 수 21

한 줄 요약

이 논문은 $\varepsilon_p$-거리(해밍, $\ell_1$, $\ell_2$, $\ell_\infty$) 하에서 단일 연결 클러스터링을 위한 최초의 대량 병렬 알고리즘을 제시하며, 고정된 차원 $d$ 에서 $O(\log n)$ MPC 라운드 내에 $(1+\epsilon)$-근사치를 달성한다. 또한 표준 MPC의 난이도 가정 하에 $o(\log n)$-라운드 알고리즘은 상수 요인 근사치를 달성할 수 없음을 입증하며, Spark 실험을 통해 수개의 주기 수준의 속도 향상을 입증한다.

ABSTRACT

We present massively parallel (MPC) algorithms and hardness of approximation results for computing Single-Linkage Clustering of $n$ input $d$-dimensional vectors under Hamming, $\ell_1, \ell_2$ and $\ell_\infty$ distances. All our algorithms run in $O(\log n)$ rounds of MPC for any fixed $d$ and achieve $(1+ε)$-approximation for all distances (except Hamming for which we show an exact algorithm). We also show constant-factor inapproximability results for $o(\log n)$-round algorithms under standard MPC hardness assumptions (for sufficiently large dimension depending on the distance used). Efficiency of implementation of our algorithms in Apache Spark is demonstrated through experiments on a variety of datasets exhibiting speedups of several orders of magnitude.

연구 동기 및 목표

• 대규모 벡터 데이터에서 일반적인 $\ell_p$-거리 하에서 Massively Parallel Computation (MPC) 모델에서 단일 연결 클러스터링을 위한 효율적이고 확장 가능한 알고리즘을 설계하는 것.
• 이전 연구가 $k$-평균 또는 $k$-중위수에 집중하거나, 벡터 데이터에 대해 효율성이 떨어지는 바탕이 되는 MPC에서 단일 연결 클러스터링에 대한 증명 가능한 보장을 메우는 것.
• 표준 MPC 난이도 가정 하에 $o(\log n)$-라운드 알고리즘이 $\ell_p$-거리 하에서 $k$-SLC에 대해 상수 요인 근사치를 달성할 수 없음을 증명함으로써 이론적 한계를 설정하는 것.
• 다양한 데이터셋에서의 구현 및 평가를 통해 Apache Spark 상에서 실용적 효율성을 입증하는 것.

제안 방법

• MST에서 $k$-SLC와 $k-1$개의 가장 긴 간선 간의 등가성을 활용하며, Boruvka 알고리즘 시뮬레이션을 통한 MPC 호환성 있는 MST 구축 방법을 적용한다.
• $\ell_p$-거리 기반의 계층적 클러스터링 접근 방식을 사용하며, 근사 최근접 이웃(ANN) 검색과 파라미터 $\eta$ 를 통해 근사치와 국소성 제어를 수행한다.
• 벡터들이 거리 임계값 기반으로 그룹화되는 재귀적 분할 전략을 사용하며, 캐시된 부분 집합에서 Prim의 알고리즘을 이용해 국소 MST 계산을 수행한다.
• $\eta$-파rameterized ANN 필터를 사용하여 통신 및 국소 계산을 줄이며, 수축하는 거리 범위 내의 후보 이웃들만을 대상으로 한다.
• 각 라운드에서 국소 클러스터링과 기계 간 통신을 수행하여 상호 클러스터 간 거리 기반으로 클러스터를 병합하는 다중라운드 MPC 프레임워크를 구현한다.
• 이론적 MPC 보장을 실질적 Spark 최적화와 통합하며, 캐시 인식 데이터 레이아웃과 클러스터 경계의 반복적 정밀 조정을 포함한다.

실험 결과

연구 질문

• RQ1 일반적인 $\ell_p$-거리 하에서 MPC 모델에서 단일 연결 클러스터링을 증명 가능한 근사 보장과 함께 효율적으로 해결할 수 있는가?
• RQ2 MPC에서 $\ell_p$-거리 하에서 $k$-SLC에 대해 $(1+\epsilon)$-근사치를 달성하기 위한 라운드 복잡도의 상한은 무엇인가?
• RQ3 MPC 모델 내에 $k$-SLC에 대해 하향 로그 라운드 알고리즘이 상수 요인 근사치를 달성하는 것을 방해하는 본질적 제약이 있는가?
• RQ4 ANN 기반 필터링에서 $\eta$ 의 선택이 실질적인 근사 품질과 런타임 성능에 어떤 영향을 미치는가?
• RQ5 이론적 MPC 알고리즘이 Apache Spark와 같은 실제 시스템에서 효율적으로 구현되어 순차적 방법에 비해 뚜렷한 속도 향상을 이끌 수 있는가?

주요 결과

• 제안된 MPC 알고리즘은 고정된 차원 $d$ 에서 $\ell_1$, $\ell_2$, $\ell_\infty$ 거리 하에서 $k$-SLC에 대해 $O(\log n)$ 라운드 내에 $(1+\epsilon)$-근사치를 달성한다.
• 해밍 거리의 경우 정확한 알고리즘이 제공되며, 이 역시 $O(\log n)$ 라운드 내에서 실행된다.
• 표준 MPC 난이도 가정 하에 차원이 충분히 클 경우, $o(\log n)$-라운드 알고리즘은 $\ell_p$-거리 하에서 $k$-SLC에 대해 상수 요인 근사치를 달성할 수 없다.
• Apache Spark에서의 실험적 평가 결과, 특히 로컬 데이터가 L2 캐시에 맞을 경우 순차적 Prim의 알고리즘 대비 수개의 주기 수준의 속도 향상이 관찰되었다.
• $\eta \approx 0.5$ 와 근사치 $\approx 1.15$ 에서 급격한 성능 향상이 발생하며, 이는 로컬 입력이 L2 캐시에 맞을 때 발생하는 것으로, 상당한 속도 향상을 가능하게 한다.
• 모든 데이터셋에서 알고리즘은 최대 40라운드 내에 종료되며, $\ell_1$ 및 $\ell_\infty$ 거리 하에서의 성능은 $\ell_2$와 유사하다. 이는 공유되는 분할 논리 덕분이다.