[논문 리뷰] Relational Algorithms for k-Means Clustering

Benjamin Moseley, Kirk Pruhs외 2명|arXiv (Cornell University)|2020. 08. 01.

Data Management and Algorithms참고 문헌 29인용 수 2

한 줄 요약

이 논문은 전체 설계 행렬을 물리적으로 생성하지 않고도 정규화된 관계형 데이터베이스에서 직접 작동하는 관계형 k-means 군집화 알고리즘을 제안한다. 이 알고리즘은 순환하지 않는 데이터베이스에 대해 다항시간 내에 O(1)-근사해를 달성한다. 기존의 조인 기반 처리 방식에서 발생하는 지수적 증가를 피하기 위해 거부 샘플링과 k-means++ 초기화를 결합하여 군집 중심을 효율적으로 샘플링하면서도 일정 요인의 근사 보장을 유지한다.

ABSTRACT

This paper gives a k-means approximation algorithm that is efficient in the relational algorithms model. This is an algorithm that operates directly on a relational database without performing a join to convert it to a matrix whose rows represent the data points. The running time is potentially exponentially smaller than N, the number of data points to be clustered that the relational database represents. Few relational algorithms are known and this paper offers techniques for designing relational algorithms as well as characterizing their limitations. We show that given two data points as cluster centers, if we cluster points according to their closest centers, it is NP-Hard to approximate the number of points in the clusters on a general relational input. This is trivial for conventional data inputs and this result exemplifies that standard algorithmic techniques may not be directly applied when designing an efficient relational algorithm. This paper then introduces a new method that leverages rejection sampling and the k-means++ algorithm to construct a O(1)-approximate k-means solution.

연구 동기 및 목표

• 표준 k-means가 관계형 데이터베이스에서 비효율적인 문제를 해결하기 위해 전체 테이블 조인을 피함으로써 데이터 크기의 지수적 증가를 방지한다.
• 전체 설계 행렬의 크기 대신 입력 테이블의 크기와 다항식 시간 내에 작동하는 관계형 알고리즘을 설계한다.
• 밀도 행렬 표현으로 변환하지 않고도 관계형 데이터에 직접적으로 k-me안 군집화에 대해 일정 요인의 근사해를 제공한다.
• 일반적인 관계형 입력에서 군집 크기를 근사하는 것이 NP-난해임을 증명함으로써 관계형 알고리즘의 한계를 규명한다.
• 증명 가능 근사 보장을 갖춘 효율적인 관계형 알고리즘 설계를 위한 프레임워크를 수립한다.

제안 방법

• 모든 데이터 포인트를 물리적으로 생성하지 않고도 관계형 스키마에서 후보 군집 중심을 효율적으로 샘플링하기 위해 거부 샘플링을 활용한다.
• 관계형 데이터에 적합하게 수정된 k-means++ 초기화 전략을 채택하여 양호한 중심 간 거리 분리와 커버리지 보장을 확보한다.
• 데이터 그래프 내 경로를 통해 중심에 포인트를 할당하는 데 드는 비용을 제한하기 위해 유량 유사 가중치 함수 ∆′(p)를 사용하는 가중치 전파 메커니즘을 도입한다.
• 유연한 삼각 부등식 근사치를 적용하여 샘플된 중심에 포인트를 할당하는 비용이 최적 해와 관련된 비용을 유도함으로써 일정 요인의 근사 보장을 확보한다.
• 가중치를 중심 간에 분배할 수 있도록 분수 할당 방식 ω(p, ci)을 사용하여 샘플된 중심에서의 가중치 k-means를 통한 비용 분석을 가능하게 한다.
• 데이터 포인트의 연속적인 경로를 기반으로 한 청산 논증을 사용하여 총 비용을 최적 해의 비용 기준으로 제한하며, 경로를 따라 가중치가 지수적으로 증가하도록 한다.

실험 결과

연구 질문

• RQ1 전체 설계 행렬을 물리적으로 생성하지 않고도 관계형 알고리즘 모델에서 k-means 군집화를 효율적으로 해결할 수 있는가?
• RQ2 기존 테이블에서 다항시간 연산만을 사용하여 관계형 데이터에 대해 k-means의 일정 요인 근사해를 달성할 수 있는가?
• RQ3 k-means에서 군집 크기 또는 비용을 근사할 때 관계형 알고리즘의 근본적 한계는 무엇인가?
• RQ4 k-means++와 같은 샘플링 기법을 정규화된 관계형 스키마에 직접 적용하기 위해 어떻게 변형할 수 있는가?
• RQ5 거부 샘플링과 가중치 전파를 활용하여 관계형 데이터베이스에서 근사 군집화의 비용을 제한할 수 있는가?

주요 결과

• 제안된 알고리즘은 순환하지 않는 관계형 데이터베이스에서 n·fhtw 비례 시간 내에 O(1)-근사해를 달성하며, 관계형 쿼리 처리 분야에서 현재 최고 성능과 동일한 선형 시간 복잡도를 확보한다.
• 일반적인 관계형 입력에서 군집 내 포인트 수를 근사하는 것은 심지어 중심이 두 개인 경우에도 NP-난해함을 입증하여 관계형 알고리즘의 근본적 한계를 드러낸다.
• 전체 물리적 생성을 피하기 위해 거부 샘플링과 k-means++ 기반 샘플링을 사용함으로써, 알고리즘의 실행 시간이 설계 행렬 크기 대비가 아닌 입력 크기의 다항식에 비례함을 보장한다.
• 최종 군집화 해의 비용은 O(γ)φOPT 이하로 제한되며, 여기서 γ는 샘플된 중심에서의 가중치 k-means 해법의 근사 요인이고, φOPT은 최적 k-means 비용이다.
• 분석 결과, 샘플된 중심에서의 가중치 k-means 비용은 높은 확률로 최적 비용의 일정 요인 이내에 머물며, 이는 가중치 집중성과 경로 가중치의 유계성 덕분이다.
• 최종 근사 보장은 O(γ)φOPT이며, γ는 가중치 k-means 해법의 근사 요인이고, 일반적인 가정 하에 전체 알고리즘이 일정 요인 근사해를 달성한다.