[논문 리뷰] A Practical Regularity Partitioning Algorithm and its Applications in Clustering

Gábor N. Sárközy, Fei Song외 2명|arXiv (Cornell University)|2012. 09. 28.

Limits and Structures in Graph Theory참고 문헌 23인용 수 11

한 줄 요약

이 논문은 이론적 Regularity Lemma를 실세계 그래프에 실용적으로 적용하기 위해 Practical Regularity Partitioning 알고리즘을 도입함으로써 새로운 클러스터링 방법인 Regularity Clustering를 제안한다. 작은 그래프에 대해 약간의 정규성을 갖춘 분할을 구성함으로써 스펙트럼 클러스터링을 위한 압축된 감소 그래프를 구축하며, 12개의 벤치마크 데이터셋 중 10개에서 k-means 및 스펙트럼 클러스터링보다 뛰어난 성능을 달성한다.

ABSTRACT

In this paper we introduce a new clustering technique called Regularity Clustering. This new technique is based on the practical variants of the two constructive versions of the Regularity Lemma, a very useful tool in graph theory. The lemma claims that every graph can be partitioned into pseudo-random graphs. While the Regularity Lemma has become very important in proving theoretical results, it has no direct practical applications so far. An important reason for this lack of practical applications is that the graph under consideration has to be astronomically large. This requirement makes its application restrictive in practice where graphs typically are much smaller. In this paper we propose modifications of the constructive versions of the Regularity Lemma that work for smaller graphs as well. We call this the Practical Regularity partitioning algorithm. The partition obtained by this is used to build the reduced graph which can be viewed as a compressed representation of the original graph. Then we apply a pairwise clustering method such as spectral clustering on this reduced graph to get a clustering of the original graph that we call Regularity Clustering. We present results of using Regularity Clustering on a number of benchmark datasets and compare them with standard clustering techniques, such as $k$-means and spectral clustering. These empirical results are very encouraging. Thus in this paper we report an attempt to harness the power of the Regularity Lemma for real-world applications.

연구 동기 및 목표

• 이론적 Regularity Lemma와 실용적 클러스터링 응용 사이의 격차를 메우기 위해, 기존에 천체적 크기의 그래프가 필요로 하는 레미의 조건을 해결한다.
• 작은 크기에서 중간 크기의 그래프(예: 수천 개의 정점)에서도 효과적으로 작동하는 수정된 구축형 Regularity Lemma를 개발한다.
• Practical Regularity Partitioning와 감소된 그래프에서의 스펙트럼 클러스터링을 조합하여 새로운 클러스터링 프레임워크인 Regularity Clustering를 제안한다.
• 다양한 벤치마크 데이터셋에서 표준 클러스터링 기법인 k-means 및 스펙트럼 클러스터링과의 성능을 경험적으로 검증한다.

제안 방법

• Regularity Lemma의 구축형 버전을 수정하여 수천 개의 정점만을 갖는 그래프에서도 작동하도록 하는 Practical Regularity Partitioning 알고리즘을 제안하며, 타워 함수 크기 요구 조건을 회피한다.
• 원본 그래프를 의사난수 그래프로 간주하여 약간의 정규성을 갖춘 분할을 구성하고, 이를 바탕으로 원본 구조를 압축하는 감소 그래프를 구축한다.
• 감소된 그래프에서 표준 스펙트럼 클러스터링을 적용하여 원본 그래프의 클러스터링을 도출하며, 효율성과 정확도 향상을 위해 압축된 표현을 활용한다.
• 메타파rameter 조정을 위해 ε(0.15–0.50)와 l(2–7)에 대한 그리드 서치를 수행하고, 모델 평가를 위해 오차 분할 교차검증(5-fold cross-validation)을 사용한다.
• 정규성 쌍이 적더라도 감소된 그래프에 모든 쌍을 포함시켜 희소성 문제를 방지하고, 충분한 구조 정보를 유지한다.
• Alon 등과 Frieze-Kannan의 구축형 Regularity Lemma를 기반으로 한 두 가지 알고리즘 버전을 구현하여 성능을 비교한다.

실험 결과

연구 질문

• RQ1 원래 천체적 크기의 그래프가 필요로 하는 조건을 갖는 Regularity Lemma가, 작은 크기에서 중간 크기의 실세계 그래프에 대해 실용적 클러스터링에 적합하게 조정될 수 있는가?
• RQ2 제안된 Practical Regularity Partitioning 알고리즘이 벤치마크 데이터셋에서 k-means 및 스펙트럼 클러스터링과 비교해 어떻게 성능을 내는가?
• RQ3 분할에서 정규성의 근사화가 효과적인 클러스터링을 위해 필요한 구조적 정보를 얼마나 잘 유지하는가?
• RQ4 밀도가 높거나 희소한 그래프 표현(예: k-최근접 이웃 또는 완전 연결 그래프)에 적용했을 때, 이 방법이 강건성과 정확도를 유지하는가?

주요 결과

• Regularity Clustering는 12개의 벤치마크 데이터셋 중 10개에서 k-means 및 스펙트럼 클러스터링을 능가하여 강력한 경험적 효과를 입증했다.
• Wine 데이터셋에서 Regularity Clustering는 Alon 등 버전으로 47.09%의 정확도를 기록했으며, 스펙트럼 클러스터링(23.95%) 및 k-means(23.89%)를 크게 앞섰다.
• Cancer 데이터셋에서 Regularity Clustering는 93.56%의 정확도를 기록했고, 동일한 설정에서 최고 성능을 기록했으며, 스펙트럼 클러스터링(97.22%) 및 k-means(96.05%)를 초월했다.
• 메서드는 높은 압축 성능를 보였으며, Cancer 데이터셋에서 인접 행렬 크기를 683×683에서 52×52로 줄여 뚜렷한 효율성 향상을 보였다.
• Alon 등과 Frieze-Kannan 버전의 결과는 거의 동일했으며, 이는 사용된 구축형 레미의 기반에 대해 강건함을 시사한다.
• 합성 데이터셋에서는 성능 향상이 제한적이었는데, 이는 Regularity Lemma의 가정이 준난수 성격을 띠지만 합성 데이터의 구조와 일치하지 않기 때문일 것이다.