[논문 리뷰] Hierarchical Clustering for Euclidean Data

Moses Charikar, Vaggos Chatziafratis외 2명|arXiv (Cornell University)|2018. 12. 27.

Advanced Clustering Algorithms Research인용 수 15

한 줄 요약

이 논문은 유사도 측정으로 가우시안 커널을 사용하는 유클리드 데이터를 대상으로 확장 가능한 계층적 군집화 알고리즘을 제안하며, 투영된 무작위 컷(Projection Random Cut, PRC)을 도입하고 1차원 및 고차원에서의 평균 연결법(average-linkage)을 분석한다. Moseley-Wang 목적함수의 근사 비율을 일반적인 경우의 1/3에서 1차원에서는 1/2로 향상시키며, SIFT10M과 같은 대규모 데이터셋에서도 선형 시간 성능을 보이며 평균 연결법 및 스펙트럴 군집화보다 빠르면서도 경쟁 가능한 목적함수 값을 유지한다.

ABSTRACT

Recent works on Hierarchical Clustering (HC), a well-studied problem in exploratory data analysis, have focused on optimizing various objective functions for this problem under arbitrary similarity measures. In this paper we take the first step and give novel scalable algorithms for this problem tailored to Euclidean data in R^d and under vector-based similarity measures, a prevalent model in several typical machine learning applications. We focus primarily on the popular Gaussian kernel and other related measures, presenting our results through the lens of the objective introduced recently by Moseley and Wang [2017]. We show that the approximation factor in Moseley and Wang [2017] can be improved for Euclidean data. We further demonstrate both theoretically and experimentally that our algorithms scale to very high dimension d, while outperforming average-linkage and showing competitive results against other less scalable approaches.

연구 동기 및 목표

• 벡터 기반 유사도 측정, 특히 가우시안 커널을 사용하는 유클리드 데이터에 특화된 목적함수 기반 알고리즘이 부족한 점을 보완하기 위해.
• 일반적인 유사도 설정에서 평균 연결법의 1/3 근사 보장치를 개선하기 위해.
• 고차원 유클리드 데이터의 기하학적 구조를 활용하는 빠르고 확장 가능한 알고리즘을 설계하기 위해.
• 이론적 및 실험적 검증을 통해 평균 연결법과 PRC와 같은 신규 알고리즘이 대규모 데이터셋에서 근사 품질과 실행 시간 측면에서 기존 방법을 능가함을 입증하기 위해.
• 일반적인 방법이 제한된 조건에서 1/3을 초과할 수 없는 구조적 설정(예: 1차원 유클리드 데이터)에서도 근사 인자가 1/3을 초과할 수 있음을 보여주기 위해.

제안 방법

• 투영된 무작위 컷(Projection Random Cut, PRC)을 제안하며, 이는 고차원 데이터를 무작위 선에 투영하고, 투영된 값을 정렬한 후 랜덤 컷을 수행하여 계층적 군집 트리를 구축하는 선형 시간 알고리즘이다.
• 1차원 유클리드 데이터에서의 평균 연결법을 분석하여, Moseley-Wang 목적함수에 대해 1/2 근사 보장을 입증하며, 일반적인 경우의 1/3 보다 향상됨을 보였다.
• 1D-SUM-upper bound를 도입하여 1차원에서 최적 목적함수 값의 이론적 상한을 제공하며, 근사 비율 평가에 사용한다.
• 특정 조건 하에서 임의의 유사도 행렬을 시뮬레이션하기 위해 차원 축소 기반 접근법을 사용하여 유클리드 구조에 집중하는 것이 타당함을 정당화한다.
• 주로 유사도 측정으로 가우시안 커널을 사용하며, $ w_{ij} = \exp(-\|v_i - v_j\|^2 / 2\sigma^2) $ 로 정의되며, $\sigma$ 는 경험적 히우리스틱을 통해 조정된다.
• 목적함수 값 비교를 위해 스펙트럴 군집화와 MAX-upper를 벤치마크로 사용하며, 단일 패assing 데이터 처리를 통해 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 1차원 유클리드 데이터와 같은 구조적 데이터 설정에서 평균 연결법의 1/3 근사 보장치를 향상시킬 수 있는가?
• RQ2 강력한 근사 보장을 유지하면서 고차원 유클리드 데이터에 대해 확장 가능한 알고리즘을 설계할 수 있는가?
• RQ3 가우시안 커널 유사도를 사용하는 유클리드 데이터의 기하학적 구조는 일반적인 유사도 행렬보다 더 나은 근사 성능을 가능하게 하는가?
• RQ4 실제 세계 데이터셋에서 PRC의 목적함수 값과 실행 시간 측면에서 평균 연결법 및 스펙트럴 군집화와의 성능를 비교하면 어떻게 되는가?
• RQ5 대역폭 파라미터 $\sigma$ 는 알고리즘의 근사 품질과 안정성에 어떤 영향을 미치는가?

주요 결과

• 투영된 무작위 컷(Projection Random Cut, PRC)은 Zoo 데이터셋(100개 샘플, 16차원)에서 최대 0.92의 근사 비율을 달성하여 속도와 목적함수 값 측면에서 평균 연결법 및 스펙트럴 군집화를 모두 능가한다.
• SIFT10M 데이터셋(1000만 개 샘플, 128차원)에서 PRC는 1592초 내에 실행되며, 데이터 크기와 거의 선형적으로 확장되며 단일 패assing 시간에 가까워진다.
• 1차원 유클리드 데이터에서는 랜덤 컷과 평균 연결법 모두 Moseley-Wang 목적함수에 대해 1/2 근사 보장을 달성하며, 일반적인 경우의 1/3 보다 향상됨을 보였다.
• 이론적 분석을 통해 평균 연결법이 1D-SUM-upper bound 하에서 1/2 근사 보장을 초과할 수 없음을 입증하였으며, 이는 이 설정에서 1/2가 최적임을 의미한다.
• 작은 대역폭 $\sigma$ 를 가진 고차원 데이터에서는 평균 연결법이 여전히 1/3 근사 보장을 초과할 수 없으며, 이는 개선을 위해 $\sigma$ 또는 차원에 대한 구조적 가정이 필요함을 시사한다.
• Zoo 데이터셋에서 $\sigma$ 를 [1.5, 5] 범위로 선택하면 거리 차이에 대한 민감도와 유사도의 균일성 간 균형을 이루며, 최적 성능는 $\sigma=5$ 에서 관찰되었다.