[논문 리뷰] How the result of graph clustering methods depends on the construction of the graph

Markus Maier, Ulrike von Luxburg외 1명|arXiv (Cornell University)|2011. 02. 10.

Complex Network Analysis Techniques참고 문헌 10인용 수 7

한 줄 요약

이 논문은 스펙트럴 클러스터링과 같은 그래프 기반 클러스터링 알고리즘의 결과에 영향을 미치는 유사도 그래프의 구성 방식—특히 그래프 유형(k-NN, r-neighborhood, 가우시안), 매개변수(k, r, σ), 그리고 간선 가중치—이 어떻게 작용하는지 조사한다. 그래프 유형에 따라 정규화된 컷(NCut) 및 치히어 컷(Cheeger cut) 값이 서로 다른 극한값으로 수렴함을 보여주며, 이는 데이터 분포가 고정되어 있더라도 그래프 구성 방식에 의해 클러스터링 결과가 체계적으로 편향됨을 시사한다.

ABSTRACT

We study the scenario of graph-based clustering algorithms such as spectral clustering. Given a set of data points, one first has to construct a graph on the data points and then apply a graph clustering algorithm to find a suitable partition of the graph. Our main question is if and how the construction of the graph (choice of the graph, choice of parameters, choice of weights) influences the outcome of the final clustering result. To this end we study the convergence of cluster quality measures such as the normalized cut or the Cheeger cut on various kinds of random geometric graphs as the sample size tends to infinity. It turns out that the limit values of the same objective function are systematically different on different types of graphs. This implies that clustering results systematically depend on the graph and can be very different for different types of graph. We provide examples to illustrate the implications on spectral clustering.

연구 동기 및 목표

• 유사도 그래프의 구성 방식에 따른 그래프 클러스터링 결과의 통계적 의존성 조사
• 다양한 그래프 유형(k-NN, r-neighborhood, 가우시안)이 정규화된 컷(NCut) 및 치히어 컷과 같은 클러스터 품질 측정치의 수렴에 미치는 영향 분석
• 스펙트럴 클러스터링을 통해 도출된 최적의 클러스터링 분할이 그래프 구성 매개변수의 선택에 의해 체계적으로 영향을 받는지 규명
• 서로 유사한 밀도 추정의 점근적 행동을 보이지만, 다양한 그래프 구성 방식이 클러스터링 결과에 다른 영향을 미치는 이유에 대한 이론적 근거 제공

제안 방법

• 표본 수 n → ∞ 일 때 랜덤 기하 그래프에서 정규화된 컷(NCut) 및 치히어 컷의 수렴에 대한 이론적 분석
• k-NN, r-neighborhood, 가우시안 가중 그래프 등 다양한 그래프 유형에서 NCut 및 치히어 컷의 극한값 연구
• NCut 목표 함수의 컷 및 볼륨 항의 수렴을 분석하기 위해 편향과 분산 분해 적용
• 경계점이 컷 및 볼륨 항에 미치는 영향을 경계 스트립에 대한 적분을 통해 기하확률 도구로 근사
• 대역폭 수열(σₙ, rₙ)에 대한 조건을 사용하여 다양한 그래프 구성에서 편향 및 분산 항의 수렴 속도 유도
• 기하적 적분 결과(F_C^(q), F_B^(q))를 활용해 그래프 가중치가 클러스터 품질 측정치의 점근적 행동에 어떻게 영향을 미치는지 특성화

실험 결과

연구 질문

• RQ1 데이터 세트에서 그래프 유형(k-NN 대비 r-neighborhood 대비 가우시안)의 선택이 정규화된 컷의 극한값에 어떻게 영향을 미치는가?
• RQ2 서로 유사한 밀도 추정 행동을 보이지만, 스펙트럴 클러스터링에서 다양한 그래프 구성이 체계적으로 다른 최적의 클러스터링을 초래하는 이유는 무엇인가?
• RQ3 다양한 그래프 유형 및 매개변수 수열 하에서 NCut 목표 함수의 편향 및 분산 항의 수렴 속도는 무엇인가?
• RQ4 경계 효과는 그래프 클러스터링 목표 함수의 컷 및 볼륨 항의 수렴에 어떻게 영향을 미치는가?
• RQ5 NCut 값이 그래프에서 인구 극한값으로 거의 확실히 수렴하는 데 필요한 이론적 조건을 도출할 수 있는가?

주요 결과

• 정규화된 컷(NCut) 값은 동일한 인구 분포를 가진 경우에도 사용된 그래프 유형에 따라 다른 극한값으로 수렴함을 보여줌.
• k-NN 및 r-neighborhood 그래프의 경우, NCut의 극한값이 밀도의 서로 다른 거듭제곱에 대해 통합되므로 체계적으로 다른 최적의 클러스터링을 초래함.
• 컷의 편향 항은 임의의 α ∈ (0,1)에 대해 O(σₙ^α) 속도로 0으로 수렴하며, 적절한 조건 하에서 최적의 수렴 속도는 σₙ = ((log n)/n)^{1/(d+3)} 일 때 달성됨.
• 컷의 분산 항은 nσₙ^{d+1}/log n → ∞ 라는 조건 하에서 거의 확실히 0으로 수렴하며, 이는 NCut 목표 함수의 일致성(consistency)을 보장함.
• rₙ/σₙ → 0 인 가우시안 가중 그래프의 경우, nrₙ^{d+1}/log n → ∞ 라면 컷 및 볼륨 항이 그들의 인구 극한값으로 수렴함.
• 경계점이 컷 및 볼륨에 미치는 영향은 O(rₙ)로 유한하게 제한되며, 이는 점근적 영역에서 경계 효과가 무시할 만큼 작다는 것을 시사함.