[논문 리뷰] HDBSCAN: Density based Clustering over Location Based Services

Farhadur Rahman, Weimo Liu외 4명|arXiv (Cornell University)|2016. 02. 11.

Data Management and Algorithms참고 문헌 16인용 수 6

한 줄 요약

이 논문은 오직 kNN 쿼리 인터페이스만을 사용하여 위치 기반 서비스(LBS)에서 밀도 기반 클러스터링을 가능하게 하는 새로운 알고리즘 HDBSCAN을 제안한다. 2차원 점을 1차원으로 매핑하기 위해 적응형 공간 채움 곡선을 활용함으로써, 변환된 데이터를 클러스터링하고 클러스터를 병합하여 공간적 구조를 복원한다. 이로 인해 엄격한 쿼리 레이트 제한 조건에서도 최소한의 kNN 쿼리로 높은 정확도를 달성할 수 있다.

ABSTRACT

Location Based Services (LBS) have become extremely popular and used by millions of users. Popular LBS run the entire gamut from mapping services (such as Google Maps) to restaurants (such as Yelp) and real-estate (such as Redfin). The public query interfaces of LBS can be abstractly modeled as a kNN interface over a database of two dimensional points: given an arbitrary query point, the system returns the k points in the database that are nearest to the query point. Often, k is set to a small value such as 20 or 50. In this paper, we consider the novel problem of enabling density based clustering over an LBS with only a limited, kNN query interface. Due to the query rate limits imposed by LBS, even retrieving every tuple once is infeasible. Hence, we seek to construct a cluster assignment function f(.) by issuing a small number of kNN queries, such that for any given tuple t in the database which may or may not have been accessed, f(.) outputs the cluster assignment of t with high accuracy. We conduct a comprehensive set of experiments over benchmark datasets and popular real-world LBS such as Yahoo! Flickr, Zillow, Redfin and Google Maps.

연구 동기 및 목표

• 오직 kNN 쿼리 인터페이스만 노출된 LBS 데이터베이스에서 직접 데이터베이스 액세스 없이 밀도 기반 클러스터링을 가능하게 하기.
• Google Maps, Redfin, Zillow와 같은 LBS 플랫폼에서 전체 데이터를 검색하는 데 높은 비용과 제한된 쿼리 레이트로 인한 과제를 해결하기.
• 작은 수의 kNN 쿼리로도 높은 정확도를 유지하면서, 어떤 튜플에도 클러스터 레이블을 할당하는 클러스터링 함수 f(·)를 개발하기.
• 샘플링 기반 접근법의 한계, 예를 들어 비정상적인 모양의 클러스터나 이방자들을 잘못 처리하는 문제를 해결하기.
• 제3자 클라이언트 및 연구자들이 데이터 제공자에 대한 액세스 없이도 LBS 데이터에 대한 대규모 분석을 수행할 수 있는 실용적이고 확장 가능한 솔루션을 제공하기.

제안 방법

• 지리적 2차원 점을 지역 밀도와 공간적 근접성을 유지하기 위해 적응형 공간 채움 곡선(SFC)을 사용해 1차원 공간으로 매핑하기.
• 변환된 데이터에 1차원 클러스터링 알고리즘을 적용하여 초기 클러스터 식별하기.
• 밀도 임계값을 기반으로 인접한 1차원 클러스터를 병합하여 일관된 2차원 클러스터 형성하기.
• 모든 튜플을 검색하지 않고도 핵심 포인트를 kNN 쿼리로 샘플링하여 클러스터 구조를 추론하기.
• 기존 클러스터 중심에 가까운 거리 기반으로 방문하지 않은 튜플의 클러스터를 예측하는 클러스터 할당 함수 f(·) 구축하기.
• 전체 데이터셋에 대한 실제 DBSCAN 결과와 비교하여 f(·)의 출력을 검증함으로써 클러스터 품질 평가하기.

실험 결과

연구 질문

• RQ1 오직 kNN 쿼리 인터페이스만을 제공하고 전체 데이터베이스 액세스가 없는 LBS 플랫폼에서 밀도 기반 클러스터링을 효과적으로 수행할 수 있는가?
• RQ2 최소한의 kNN 쿼리로도 높은 정확도를 달성할 수 있는 클러스터링 함수 f(·)는 어떻게 구성할 수 있는가?
• RQ3 적응형 공간 채움 곡선은 2차원에서 1차원으로의 변환 과정에서 공간 밀도와 클러스터 구조를 효과적으로 유지할 수 있는가?
• RQ4 기존 DBSCAN과 비교할 때 HDBSCAN은 실제 LBS 데이터(예: Redfin, Zillow, Google Maps)에서 어떻게 성능을 발휘하는가?
• RQ5 전체 데이터 액세스 없이도 HDBSCAN은 도시 핫스팟, 임대 트렌드 또는 POI 그룹화와 같은 의미 있는 공간 패턴을 식별할 수 있는가?

주요 결과

• HDBSCAN은 실제 LBS 데이터에서 다양한 형태의 클러스터를 성공적으로 탐지하였으며, DFW 지역의 도시 및 농촌 주거 클러스터가 실제 공간 분포와 일치함을 확인하였다.
• DFW의 도시 중심부에 위치한 클러스터(예: 달라스 및 포트워스)는 평균 주택 가격이 높아, 이 방법이 의미 있는 경제적 패턴을 잘 반영하고 있음을 확인하였다.
• 자전거 공유 시스템인 Capital Bikeshare의 경우, 중심부 역은 저녁에 수요가 가장 높고, 외곽 역은 오전과 저녁에 이중 피크를 보이며, 사용 패턴이 뚜렷하게 구분됨을 확인하였다.
• 클러스터 간 주택 가격 분포는 기대와 부합하며, 도시 클러스터는 히스토GRAM의 오른쪽(높은 가격)에 위치하고, 농촌 클러스터는 왼쪽에 위치함을 확인하였다.
• 샘플링 기반 기준 대비 HDBSCAN은 비정상적인 형태의 클러스터를 더 잘 처리하고, 이방자들을 더 효과적으로 식별함으로써 성능이 뛰어나다.
• 엄격한 LBS API의 쿼리 레이트 제한 조건에서도 최소한의 kNN 쿼리로도 높은 정확도의 클러스터 할당을 달성하여 실용성이 입증되었다.