[논문 리뷰] Nearest Descent, In-Tree, and Clustering

Teng Qiu, Kai-Fu Yang외 2명|arXiv (Cornell University)|2014. 12. 07.

Advanced Clustering Algorithms Research인용 수 3

한 줄 요약

이 논문은 물리적 원리에서 영감을 얻은 '가장 가까운 경사 내림' (Nearest Descent, ND) 라고 불리는 규칙에 기반한 새로운 그래프 이론적 군집화 방법을 제안한다. 이 방법은 경사가 가장 급한 방향으로 부모 노드를 반복적으로 선택하여 In-Tree를 구성한다. 군집화는 In-Tree에서 몇몇 구별 가능한 간선을 제거하는 것으로 귀결되며, 이는 다양한 데이터 형태와 고차원 데이터셋에서 높은 정확도로 자동 또는 상호작용식 군집 탐지가 가능하게 한다.

ABSTRACT

In this paper, we propose a physically inspired graph-theoretical clustering method, which first makes the data points organized into an attractive graph, called In-Tree, via a physically inspired rule, called Nearest Descent (ND). In particular, the rule of ND works to select the nearest node in the descending direction of potential as the parent node of each node, which is in essence different from the classical Gradient Descent or Steepest Descent. The constructed In-Tree proves a very good candidate for clustering due to its particular features and properties. In the In-Tree, the original clustering problem is reduced to a problem of removing a very few of undesired edges from this graph. Pleasingly, the undesired edges in In-Tree are so distinguishable that they can be easily determined in either automatic or interactive way, which is in stark contrast to the cases in the widely used Minimal Spanning Tree and k-nearest-neighbor graph. The cluster number in the proposed method can be easily determined based on some intermediate plots, and the cluster assignment for each node is easily made by quickly searching its root node in each sub-graph (also an In-Tree). The proposed method is extensively evaluated on both synthetic and real-world datasets. Overall, the proposed clustering method is a density-based one, but shows significant differences and advantages in comparison to the traditional ones. The proposed method is simple yet efficient and reliable, and is applicable to various datasets with diverse shapes, attributes and any high dimensionality

연구 동기 및 목표

• 임의의 데이터 형태와 고차원성에 강건한 군집화 방법을 개발하는 것.
• k-means나 DBSCAN과 같은 전통적인 군집화 방법이 비구형 군집을 다루는 데에 한계를 보이는 문제를 해결하는 것.
• 중간 단계의 시각화를 통해 군집 수를 쉽게 결정할 수 있는 방법을 제공하는 것.
• 서브트리에서 근을 찾는 방식을 통해 효율적이고 신뢰할 수 있는 군집 할당을 가능하게 하는 것.
• 구조화된 그래프에서 희소한 간선 제거 문제로 변환함으로써 군집 경계 탐지의 복잡성을 줄이는 것.

제안 방법

• 각 노드가 가장 가까운 노드를 경사가 가장 급한 방향으로 선택하도록 함으로써 Nearest Descent (ND) 규칙을 적용하여 In-Tree를 구성한다.
• 데이터 포인트의 밀도에서 유도된 잠재함수를 사용하여 경사 내림 과정을 안내함으로써 계층적 조직을 보장한다.
• 연결된 성분마다 하나의 루트를 가지며 방향성이 있는 비순환 그래프로 In-Tree를 구성함으로써 위상적 구조를 유지한다.
• 구조적 및 위상적 특성상 구별 가능한 '부적절한' 간선을 식별하고, 이는 서로 다른 군집을 연결하는 간선이다.
• 각 노드를 In-Tree에서 그 루트로 따라가는 방식으로 군집 할당을 수행하며, 각 루트는 별개의 군집을 나타낸다.
• 간선 무게 분포나 트리 깊이 프로파일과 같은 중간 단계의 플롯을 활용하여 군집 수의 최적값을 자동 또는 상호작용식으로 결정한다.

실험 결과

연구 질문

• RQ1 Nearest Descent와 같은 물리적 원리에서 유도된 그래프 구축 규칙이 군집화에 적합한 계층적 구조를 생성할 수 있는가?
• RQ2 기존의 그래프 구조인 MST나 k-NN와 비교해 볼 때, In-Tree 내에서 군집을 분리하는 부적절한 간선이 신뢰성 있고 명확하게 식별될 수 있는가?
• RQ3 이 방법이 사전 지식 없이도 자동으로 정확한 군집 수를 결정할 수 있는가?
• RQ4 이 방법은 복잡하고 비구형이거나 고차원적인 군집을 가진 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ5 In-Tree의 구조에서 단순한 근 찾기 연산을 통해 군집 할당 과정을 효율적으로 계산할 수 있는가?

주요 결과

• In-Tree 구조는 데이터의 내재된 군집 계층을 효과적으로 포착하여 정확하고 효율적인 군집 할당을 가능하게 한다.
• 군집을 분리하는 부적절한 간선은 In-Tree 내에서 매우 명확하게 식별되며, 최소한의 인간 또는 알고리즘 간섭으로도 신뢰성 있게 제거할 수 있다.
• 간선 무게 또는 깊이 분포와 같은 중간 단계의 구조적 플롯을 분석함으로써 군집 수를 자동으로 결정할 수 있다.
• 이 방법은 비정상적인 형태나 고차원성을 가진 데이터셋을 포함한 다양한 데이터셋에서 높은 군집 정확도를 달성한다.
• 이 방법은 복잡한 데이터 분포에서 전통적인 밀도 기반 군집화 기법보다 강건성과 일관성 면에서 뛰어나다.
• In-Tree의 희소성과 트리 구조 내에서의 근 찾기 연산의 효율성 덕분에 계산 비용이 낮다.