[논문 리뷰] Linear density-based clustering with a discrete density model

Roberto Pirrone, Vincenzo Cannella외 2명|arXiv (Cornell University)|2018. 07. 21.

Data Management and Algorithms참고 문헌 35인용 수 5

한 줄 요약

이 논문은 지형적 데이터에서 O(n) 복잡도를 달성하기 위해 이산 격자 기반 밀도 모델을 사용하는 선형 시간 밀도 기반 군집화 알고리즘인 Lin-DBSCAN을 제안한다. 이는 클러스터링 품질을 유지하면서도 DBSCAN보다 훨씬 빠른 속도를 기록한다. 이 방법은 이웃성 검색을 격자 스캔 및 병합 전략으로 대체하여 실시간 성능을 구현하며, 자원이 제한된 장치에서도 클러스터 정확도를 훼손하지 않는다.

ABSTRACT

Density-based clustering techniques are used in a wide range of data mining applications. One of their most attractive features con- sists in not making use of prior knowledge of the number of clusters that a dataset contains along with their shape. In this paper we propose a new algorithm named Linear DBSCAN (Lin-DBSCAN), a simple approach to clustering inspired by the density model introduced with the well known algorithm DBSCAN. Designed to minimize the computational cost of density based clustering on geospatial data, Lin-DBSCAN features a linear time complexity that makes it suitable for real-time applications on low-resource devices. Lin-DBSCAN uses a discrete version of the density model of DBSCAN that takes ad- vantage of a grid-based scan and merge approach. The name of the algorithm stems exactly from its main features outlined above. The algorithm was tested with well known data sets. Experimental results prove the efficiency and the validity of this approach over DBSCAN in the context of spatial data clustering, enabling the use of a density-based clustering technique on large datasets with low computational cost.

연구 동기 및 목표

• 특히 실시간 및 자원이 제한된 환경에서의 높은 계산 비용 문제를 해결하기 위해.
• 형태에 관계없이 클러스터링을 수행하고 노이즈를 탐지하는 DBSCAN의 특성을 유지하면서 선형 시간 복잡도를 갖는 군집화 알고리즘을 개발하기 위해.
• 로봇 시각에서의 깊이 센서와 같은 대규모 지형적 데이터셋에서도 효율적인 군집화를 가능하게 하기 위해.
• 실시간 컴퓨터 비전 및 임베디드 시스템에서 DBSCAN의 실용적 대안을 제공하기 위해.
• 이산 밀도 모델을 통해 실행 시간을 극적으로 줄이면서도 군집 품질을 유지하기 위해.

제안 방법

• 알고리즘은 입력 공간을 균일하고 정규적인 셀로 나누는 희소 격자를 사용한다. 각 셀은 공간적 버킷을 나타낸다.
• 각 격자 셀은 경계 내에 포함된 점의 수를 저장하여 이산 밀도 표현을 형성한다.
• 연결된 컴포넌트 레이블링 전략을 사용하여 최소 점 수 기준(MinPts)을 충족하는 인접한 격자 셀을 병합하여 클러스터를 형성한다.
• 이웃성 쿼리를 직접적인 격자 셀 접근으로 대체하여 비용이 많이 드는 거리 계산을 제거한다.
• 알고리즘은 격자에 대해 단일 패assing으로 데이터를 처리하여 2D 및 3D 공간 데이터에서 O(n) 시간 복잡도를 달성한다.
• 데이터 분포와 격자 해상도에 기반하여 Eps 및 MinPts 매개변수 추정을 위한 히우리스틱을 적용한다.

실험 결과

연구 질문

• RQ1 이산 밀도 모델을 사용하여 밀도 기반 군집화에서 선형 시간 복잡도를 달성하면서도 클러스터 품질을 유지할 수 있는가?
• RQ2 실세계 지형적 데이터셋에서 Lin-DBSCAN는 DBSCAN에 비해 실행 시간과 클러스터 정확도 측면에서 어떻게 비교되는가?
• RQ3 격자 기반 근사치는 원래 DBSCAN에 비해 클러스터링 결과에 어느 정도 영향을 미치는가?
• RQ4 고프레임레이트 데이터를 처리하는 로봇 시각과 같은 실시간 응용 분야에 Lin-DBSCAN를 효과적으로 통합할 수 있는가?
• RQ5 Lin-DBSCAN는 매개변수 설정에 얼마나 민감한가? 자동 설정을 위한 강력한 히우리스틱을 도출할 수 있는가?

주요 결과

• S-Easy 데이터셋에서 Lin-DBSCAN는 평균 18.39 FPS를 기록했고, DBSCAN는 17.49 FPS를 기록하여 명확한 성능 향상을 입증했다.
• Lin-DBSCAN의 평균 군집 처리 시간은 프레임당 0.0025초였으며, DBSCAN의 0.0027초보다 略로 빠르게 기록되었다.
• 근사치에도 불구하고 내부 및 외부 평가 지표를 통한 검증 결과, Lin-DBSCAN의 클러스터링 결과는 DBSCAN와 거의 동일한 품질을 보였다.
• 더 큰 데이터셋일수록 Lin-DBSCAN와 DBSCAN의 성능 격차가 더욱 벌어져 대규모 데이터에 대한 확장성 우수성을 보였다.
• 시스템 수준의 간섭으로 인한 피크가 최소한이었고, 모든 프레임에서 일관된 성능을 유지하여 알고리즘이 강건함을 입증했다.
• 실시간 로봇 시각 파이프라인에 Lin-DBSCAN를 통합함으로써 충돌 회피 기능을 유지하면서도 프레임 레이트를 향상시켰다.