[논문 리뷰] An implementation of the relational k-means algorithm

Balázs Szalkai|arXiv (Cornell University)|2013. 04. 25.

Advanced Clustering Algorithms Research참고 문헌 3인용 수 6

한 줄 요약

이 논문은 벡터 기반 데이터가 아닌 임의의 거리 행렬에서 작동하는 k-means를 일반화한 관계형 k-means의 C# 구현을 제시한다. 제곱 거리 행렬에 대한 이차형식을 사용해 중심점 간의 거리를 재구성함으로써, 비유클리드 공간에서도 클러스터링을 가능하게 하며, 이중 코어 노트북에서 단일 분 이내로 실제 데이터셋(예: 단백질 서열)에서도 실용적인 성능을 달성한다.

ABSTRACT

A C# implementation of a generalized k-means variant called relational k-means is described here. Relational k-means is a generalization of the well-known k-means clustering method which works for non-Euclidean scenarios as well. The input is an arbitrary distance matrix, as opposed to the traditional k-means method, where the clustered objects need to be identified with vectors.

연구 동기 및 목표

• 데이터 포인트가 벡터로 표현될 수 없는 비유클리드 공간에서 k-means 클러스터링을 가능하게 하기 위해.
• 삼각 부등식을 만족하지 않아도 되는 임의의 대칭 거리 함수를 사용할 수 있도록 고전적 k-means 목적 함수를 일반화하기 위해.
• 실세계 데이터셋을 처리할 수 있는 효율적이고 병렬화된 관계형 k-means의 구현을 제공하기 위해.
• 레벤슈타인 유사도와 유사한 거리 함수를 사용하여 대규모 생물학적 데이터에서 알고리즘의 가능성과 성능을 입증하기 위해.

제안 방법

• 알고리즘은 $ A_{ij} = f(p_i, p_j)^2 $ 형태의 제곱 거리 행렬을 입력으로 사용하며, 여기서 $ f $ 는 $ f(p_i, p_i) = 0 $ 인 임의의 대칭 거리 함수이다.
• 일반화된 제곱 중심점 거리 $ q_{ij} = -\frac{1}{2} v_{ij}^\top A v_{ij} $ 를 정의하며, 여기서 $ v_{ij} = \frac{1}{|S_j|} \textstyle\bigsum_{k \notin S_j} e_k - e_i $ 로 정의되며, 이는 고전적인 유클리드 개념을 확장한다.
• 클러스터링 값은 $ \textstyle\bigsum_{i=1}^n q_{i\tau(i)} $ 로 정의되며, $ \tau(i) $ 는 포인트 $ p_i $ 의 클러스터 할당을 의미하고, 알고리즘은 이 값을 최소화한다.
• 각 반복에서 각 포인트는 $ q_{ij} $ 를 최소화하는 클러스터로 재할당되며, 개선이 없을 경우 정지한다.
• 비유클리드 케이스에서 수렴을 보장하기 위해, 행렬을 유클리드화하기 위해 $ \beta $-스프레드 변환 $ A + \beta(J - I) $ 이 적용된다.
• 각 반복에서 클러스터별로 사전 계산된 합을 사용하고 이를 포인트 간에 재사용함으로써, $ O(n^2) $ 으로 최적화된다.

실험 결과

연구 질문

• RQ1 벡터 표현이 필요 없이도 임의의 거리 행렬에서 효과적으로 k-means를 일반화할 수 있는가?
• RQ2 기하학적 중심점 거리의 직관을 유지하면서, 거리 행렬만을 사용해 고전적 k-means 목적 함수를 어떻게 재구성할 수 있는가?
• RQ3 비유클리드 거리가 있는 실세계 데이터셋에 대해 관계형 k-means를 실용적으로 만들기 위해 필요한 계산 최적화는 무엇인가?
• RQ4 병렬 처리가 대규모 데이터에서 관계형 k-means의 런타임 성능을 크게 향상시킬 수 있는가?

주요 결과

• 관계형 k-me안 알고리즘은 거리 행렬에 대한 이차형식을 사용해 일반화된 중심점 거리를 계산함으로써, 비유클리드 공간에서도 k-means를 성공적으로 일반화한다.
• 클러스터 합을 사전 계산하고 재사용함으로써, $ q_{ij} $ 계산을 최적화함으로써 알고리즘은 반복당 $ O(n^2) $ 시간 복잡도를 달성한다.
• 레벤슈타인 유사도와 유사한 거리 함수를 사용한 1,000개 이상의 단백질으로 구성된 데이터셋에서, 이 구현은 이중 코어 노트북에서 30~60초 내로 클러스터링을 완료했다.
• 성능 향상이 없이 20번의 연속 시도가 실패할 경우 정지 조건으로 설정했을 때, 알고리즘은 향상이 더 이상 없음에도 불구하고 안정적으로 고품질의 클러스터링에 수렴했다.
• 이 구현은 매우 병렬화 가능하며, 여러 스레드를 사용해 거의 100% CPU 활용도를 기록했고, 16코어 머신에서는 8초 이내로 실행될 것으로 기대할 수 있다.
• C++로의 포팅을 통해 실행 시간을 약 50% 감소시킬 수 있을 것으로 예상되어, 더 낮은 수준의 최적화로 추가 성능 향상이 가능하다.