[논문 리뷰] Embed and Conquer: Scalable Embeddings for Kernel k-Means on MapReduce

Ahmed Elgohary, Ahmed Farahat외 2명|arXiv (Cornell University)|2013. 11. 11.

Advanced Clustering Algorithms Research참고 문헌 28인용 수 6

한 줄 요약

이 논문은 이미지넷과 RCV1과 같은 대규모 데이터셋에서 정확도를 높이면서도 런타임을 크게 단축시킨, 근사 최근 중심(APNC) 임bedding이라고 불리는 저차원 임베딩의 새로운 가족을 사용하여 확장 가능한 MapReduce 프레임워크를 제안한다. 데이터 인스턴스를 커널 유사도를 유지하는 저차원 공간으로 임베딩함으로써, 분산 시스템에서 효율적이고 통합된 병렬 처리를 가능하게 하여 정확도가 높고 런타임이 짧은 커널 k-평균 클러스터링을 실현한다.

ABSTRACT

The kernel $k$-means is an effective method for data clustering which extends the commonly-used $k$-means algorithm to work on a similarity matrix over complex data structures. The kernel $k$-means algorithm is however computationally very complex as it requires the complete data matrix to be calculated and stored. Further, the kernelized nature of the kernel $k$-means algorithm hinders the parallelization of its computations on modern infrastructures for distributed computing. In this paper, we are defining a family of kernel-based low-dimensional embeddings that allows for scaling kernel $k$-means on MapReduce via an efficient and unified parallelization strategy. Afterwards, we propose two methods for low-dimensional embedding that adhere to our definition of the embedding family. Exploiting the proposed parallelization strategy, we present two scalable MapReduce algorithms for kernel $k$-means. We demonstrate the effectiveness and efficiency of the proposed algorithms through an empirical evaluation on benchmark data sets.

연구 동기 및 목표

• 완전한 커널 행렬 계산과 저장으로 인해 대규모 데이터에서 커널 k-평균의 확장성에 한계가 있다는 문제를 해결하기 위해.
• 커모드 기반 분산 클러스터에서 MapReduce 모델을 활용해 커널 k-평균의 효율적 병렬 처리를 가능하게 하기 위해.
• 커널 유사도를 유지하면서도 정확하고 효율적인 클러스터링 근사가 가능한 저차원 임베딩의 가족을 설계하기 위해.
• Nyström 근사 기반의 APNC-Nys와 p-안정 분포를 사용하는 APNC-SD라는 두 가지 실용적인 임베딩 방법을 개발하여 필요한 임베딩 성질을 만족시키기 위해.
• 중소 및 대규모 벤치마크 데이터셋에서 제안된 알고리즘의 실험적 검증을 통해 뛰어난 정확도와 효율성의 우수성을 입증하기 위해.

제안 방법

• 커널 k-평균의 정확성과 확장성 보장에 필요한 네 가지 핵심 성질을 갖춘 임베딩 가족인 APNC를 도입한다.
• 모든 데이터 포인트에 대한 임베딩을 먼저 계산한 후, MapReduce를 사용해 임베딩된 공간에서 클러스터링을 수행하는 통합 병렬 처리 전략을 제안한다.
• 서브셋 데이터 포인트를 샘플링하여 전체 커널 행렬을 근사함으로써, Nyström 방법을 활용해 APNC-Nys 임베딩을 구성한다.
• ℓ1-노름을 근사하는 데 p-안정 분포를 사용하여, 커널 인코딩된 벡터의 거리 계산을 효율적으로 수행할 수 있도록 하는 APNC-SD 임베딩을 구성한다.
• 임베딩된 공간에서 클러스터 할당을 안내하기 위해 ℓ1 및 ℓ2 거리 기반의 이질성 함수를 설계하여 근사 오차를 최소화한다.
• Map 단계에서 임베딩 계산을 수행하고, Reduce 단계에서 반복적 클러스터링과 최근 중심 할당을 수행하는 MapReduce 파이프라인으로 알고리즘을 실행한다.

실험 결과

연구 질문

• RQ1 분산 환경에서 정확한 커널 k-평균 근사를 위해 필요한 성질을 유지하는 저차원 임베딩의 가족을 정의할 수 있는가?
• RQ2 해당 임베딩를 활용해 커널 k-평균을 MapReduce에서 효율적으로 병렬화할 수 있는가?
• RQ3 Nyström 방법과 p-안정 분포를 사용해 필요한 성질을 만족하고 고정확도 클러스터링을 가능하게 하는 임베딩를 구성할 수 있는가?
• RQ4 제안된 APNC-Nys와 APNC-SD 방법은 기존의 커널 k-평균 근사 방법에 비해 대규모 데이터셋에서 정확도와 효율성 면에서 어떻게 비교되는가?
• RQ5 제안된 MapReduce 기반 알고리즘이 이미지넷과 RCV1과 같은 데이터셋에 대해 얼마나 잘 확장될 수 있으며, 경쟁 가능한 클러스터링 품질을 유지할 수 있는가?

주요 결과

• APNC-SD는 이미지넷 데이터셋에서 NMI가 11.10%로 기록된 최고 성능을 기록했으며, 이는 이전 최고 성능인 10.4%를 기록한 Approx-KKM를 능가한다.
• RCV1 데이터셋에서 APNC-SD는 l=1500일 때 NMI 13.56%를 기록했으며, 스펙트럴 클러스터링을 사용한 최고 보고치인 28.65%와 유사한 성능을 보였지만, 런타임이 훨씬 빠르게 나타났다.
• 단지 300개의 샘플(l=300)을 사용했을 때, APNC-Nys와 APNC-SD 모두 정확한 커널 k-평균과 거의 동일한 클러스터링 정확도를 기록하여 그 신뢰성을 확인했다.
• RCV1에서 APNC-SD는 총 클러스터링 시간을 15.6분으로 단축시켰으며, APNC-Nys는 29분, 분산 스펙트럴 클러스터링 기준선은 95분이었다.
• APNC-Nys와 APNC-SD 간의 임베딩 시간은 유사했지만, APNC-SD는 ℓ1-거리 계산이 더 효율적이므로 클러스터링 단계에서 더 빠른 성능을 보였다.
• CovType 데이터셋에서 APNC-SD는 l=1500일 때 NMI 15.56%를 기록했으며, 이는 이전 최고 성능인 RFF를 사용한 14%를 초월했고, 런타임은 비슷한 수준을 유지하면서 APNC-Nys를 능가하는 NMI 성능을 기록했다.