[논문 리뷰] Generalizing k-means for an arbitrary distance matrix

Balázs Szalkai|arXiv (Cornell University)|2013. 03. 24.

Data Management and Algorithms참고 문헌 4인용 수 3

한 줄 요약

이 논문은 데이터 포인트가 유클리드 표현을 가지지 않더라도 임의의 거리 행렬을 사용해 k-means 군집화를 수행할 수 있도록 일반화한다. 중심점 간의 거리를 제곱형식을 통해 제곱 거리 행렬에 대해 표현함으로써, 벡터 입력 없이도 k-means가 작동할 수 있도록 하여, 비유클리드 및 추상적 데이터 유형으로의 적용 범위를 넓힌다.

ABSTRACT

The original k-means clustering method works only if the exact vectors representing the data points are known. Therefore calculating the distances from the centroids needs vector operations, since the average of abstract data points is undefined. Existing algorithms can be extended for those cases when the sole input is the distance matrix, and the exact representing vectors are unknown. This extension may be named relational k-means after a notation for a similar algorithm invented for fuzzy clustering. A method is then proposed for generalizing k-means for scenarios when the data points have absolutely no connection with a Euclidean space.

연구 동기 및 목표

• 표준 k-means가 중심점 계산을 위해 데이터 포인트가 유클리드 공간에 있어야 한다는 한계를 해결한다.
• 원래의 벡터 표현에 접근할 수 없고 오직 거리 행렬만 제공되는 경우에도 k-means 군집화를 가능하게 한다.
• 중심점 간 거리를 제곱형식을 통해 재정의함으로써, 임의의(비어밀 수 있는) 거리 행렬에 대해 k-means를 일반화한다.
• 행렬 연산의 복잡도 증가에도 불구하고 일반화된 방법이 계산적으로 실현 가능하도록 보장한다.
• 일관성 있고 해석 가능한 거리 값을 유지하기 위해 일반화된 방법이 비음이 아닌 거리를 산출할 수 있는 조건을 확보한다.

제안 방법

• 데이터 포인트를 제곱 거리 행렬 $ A \in \mathbb{R}^{n \times n} $ 로 표현한다. 여기서 $ A_{ij} = ||p_i - p_j||^2 $ 이며, $ p_i $ 가 명시적으로 알려져 있지 않더라도 가능하다.
• 포인트 $ p_i $ 와 그 군집 중심점 $ z_i $ 사이의 제곱 거리를 제곱형식으로 표현한다: $ ||p_i - z_i||^2 = -\frac{1}{2} \lambda^T A \lambda $, 여기서 $ \lambda = \frac{1}{|S|}\chi(S) - e_i $ 이고 $ \sum \lambda_j = 0 $ 이다.
• 합이 0임을 이용해 제곱형식 표현을 유도하며, 이는 원래의 벡터가 아닌 오직 거리 행렬 $ A $ 에만 의존한다.
• 해당 일반화된 거리 공식을 유클리드 공간에서 유래되지 않은 경우에도 적용함으로써, 추상적 데이터에 대한 관계 기반 k-means를 가능하게 한다.
• 제곱형식이 영향을 받는 음수 거리를 방지하기 위해, $ \beta $-스프레드 변환과 같은 행렬 보정 기법을 사용해 음수가 아닌 제곱형식을 확보한다.
• 원래의 거리가 가능한 한 유지되도록, 제곱형식이 영향을 받는 초평면 $ \sum \lambda_j = 0 $ 에서 음이 아닌 준정부호가 되도록 거리 행렬을 최소한으로 수정한다.

실험 결과

연구 질문

• RQ1 벡터 표현이 없는 상태에서 오직 거리 행렬만 제공될 경우, k-means 군집화를 일반화하여 작동시킬 수 있는가?
• RQ2 오직 제곱 거리 행렬만 제공될 경우, 데이터 포인트에서 그 군집 중심점까지의 거리를 어떻게 계산할 수 있는가?
• RQ3 일반화된 중심점 간 거리가 비음이 되고 해석 가능하게 유지되기 위해 거리 행렬이 만족해야 할 조건은 무엇인가?
• RQ4 비유클리드 거리 행렬을 수정하여 유효한 k-means 군집화를 가능하게 하되, 원래의 쌍별 거리를 가능한 한 유지할 수 있는가?
• RQ5 실제 비유클리드 데이터에 대해 일반화된 k-means 방법의 성능과 해석 가능성은 표준 k-means와 비교해 어떻게 되는가?

주요 결과

• 논문은 중심점 간 거리를 제곱형식을 통해 행렬에 대해 표현함으로써, 임의의 거리 행렬에 대해 k-means를 성공적으로 일반화하였다.
• 이 방법은 단백질 서열과 같은 유클리드 표현이 없는 데이터나 기타 추상적 데이터 유형에 대해서도 k-means 군집화를 가능하게 한다.
• 일반화된 거리 공식 $ ||p_i - z_i||^2 = -\frac{1}{2} \lambda^T A \lambda $ 는 $ A $ 가 유클리드 공간에서 유래되지 않았더라도 유효하다.
• 제곱형식이 영향을 받는 초평면에서 음이 아닌 준정부호가 아니라면 음수 거리가 발생할 수 있으며, 이는 거리 척도의 해석을 무효화한다.
• $ \beta $-스프레드 변환과 같은 행렬 보정 방법을 적용하면 원래 거리 행렬의 왜곡을 최소화하면서 음수 거리를 제거할 수 있다.
• 반복적인 제곱형식 평가로 인해 표준 k-means보다 계산 비용이 더 높지만, 히우리스틱 k-means 알고리즘에서는 여전히 실현 가능하다.