[논문 리뷰] Capacity Releasing Diffusion for Speed and Locality

Di Wang, Kimon Fountoulakis외 3명|arXiv (Cornell University)|2017. 06. 19.

Complex Network Analysis Techniques참고 문헌 24인용 수 13

한 줄 요약

이 논문은 그래프 클러스터링에서 질량 확산을 제어하기 위해 푸시-릴레이 메커니즘을 사용하는 새로운 확산 과정인 용량 해 phóng 확산(Capacity Releasing Diffusion, CRD)을 소개한다. 이는 속도와 국소성 측면에서 향상되며, 제곱형 히저(barrier)를 우회하는 최초의 국소 클러스터링 알고리즘을 실현한다. 이는 실제 사회적 그래프에서 중간 정도의 품질을 갖는 클러스터에 대해 기존 방법들보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

Diffusions and related random walk procedures are of central importance in many areas of machine learning, data analysis, and applied mathematics. Because they spread mass agnostically at each step in an iterative manner, they can sometimes spread mass "too aggressively," thereby failing to find the "right" clusters. We introduce a novel Capacity Releasing Diffusion (CRD) Process, which is both faster and stays more local than the classical spectral diffusion process. As an application, we use our CRD Process to develop an improved local algorithm for graph clustering. Our local graph clustering method can find local clusters in a model of clustering where one begins the CRD Process in a cluster whose vertices are connected better internally than externally by an $O(\log^2 n)$ factor, where $n$ is the number of nodes in the cluster. Thus, our CRD Process is the first local graph clustering algorithm that is not subject to the well-known quadratic Cheeger barrier. Our result requires a certain smoothness condition, which we expect to be an artifact of our analysis. Our empirical evaluation demonstrates improved results, in particular for realistic social graphs where there are moderately good---but not very good---clusters.

연구 동기 및 목표

• 질량의 과도한 확산으로 인해 중간 정도의 강도는 있지만 매우 강하지 않은 클러스터에 대해 고전적 스펙트럴 확산의 한계를 해결하기 위해.
• 국소 그래프 클러스터링 알고리즘에서 잘 알려진 제곱형 히저 장벽을 극복하기 위해.
• 용량 해 phóng 원칙을 활용해 질량 전파를 제어함으로써 국소성을 유지하고 실행 시간을 향상시키는 확산 과정을 개발하기 위해.
• 전체 그래프에 대한 액세스가 필요 없이도 잘 정렬된 클러스터를 증명 가능하게 찾을 수 있는 국소 클러스터링 알고리즘을 설계하기 위해.
• 실제 사회 네트워크에서 클러스터 품질이 중간 정도일 때, 기존의 국소 클러스터링 방법들에 비해 CRD의 경험적 우수성을 입증하기 위해.

제안 방법

• 정점 u에서 2d(u)의 질량을 시작으로 하는 일반적인 CRD 과정을 제안하며, 반복적으로 CRD 단계를 수행한 후 질량을 두 배로 늘린다.
• 각 정점이 레이블 l(v)과 간선 질량 m(u,v)을 유지하는 푸시-릴레이 스타일의 내부 과정을 구현하며, 내림길 간선과 용량 제약 조건에 기반한 자격 기준을 적용한다.
• 초과 질량 ex(v) = max(0, m(v) - d(v))를 사용하여 질량을 이동시켜야 할 시점을 판단함으로써, 용량 허용 범위 내에서만 질량 이동이 이루어지도록 보장한다.
• 유효한 간선이 없을 경우 l(v)를 1 증가시키는 레이블링 메커니즘을 적용하여 향후 질량 흐름을 위한 용량을 효과적으로 해 phóng한다.
• 시드 정점에서 시작하여 높은 도통성(conductance)을 갖는 잘 연결된 클러스터를 식별하는 국소 그래프 클러스터링 알고리즘에 CRD 과정을 통합한다.
• 이론적 보장을 확보하기 위해 분석에서 부드러움 조건을 활용하지만, 저자들은 이 조건이 증명 기법의 산물일 가능성이 있다고 추측한다.

실험 결과

연구 질문

• RQ1 중간 정도의 품질을 갖는 클러스터를 가진 그래프에서, 고전적 스펙트럴 방법보다 질량 확산을 더 효과적으로 제한할 수 있는 확산 과정을 설계할 수 있는가?
• RQ2 제안된 CRD 과정이 표준 확산 및 스펙트럴 클러스터링 방법에 비해 더 뛰어난 국소성과 더 빠른 수렴을 달성하는가?
• RQ3 CRD가 국소 클러스터링에서 제곱형 히저 장벽을 우회할 수 있는가? 이는 클러스터가 매우 밀도가 높지 않더라도 증명 가능하게 좋은 결과를 도출할 수 있음을 의미한다.
• RQ4 실제 사회 네트워크에서 클러스터 품질이 중간 정도일 때, CRD는 경험적으로 어떻게 성능을 발휘하는가?
• RQ5 ACL과 같은 기존의 국소 클러스터링 알고리즘에 비해 CRD는 얼마나 더 적은 질량 유출을 보이는가?

주요 결과

• 실제 페이스북 그래프(Rice 2009, Colgate 2008)에서 중간 정도의 품질을 갖는 클러스터에 대해 CRD는 정밀도와 재현율에서 ACL 및 ACLopt를 모두 능가하며, 중앙값으로서 정밀도 0.92와 재현율 0.95를 기록한다.
• Hopkins 217 클러스터에서 CRD는 정밀도 0.92와 재현율 0.95를 기록했으며, 이는 지식 기반 파rameter 튜닝을 사용하는 최고 성능의 ACLopt와 동일한 성능을 달성한다.
• 무작위 간선이 추가된 합성 격자 그래프에서, CRD는 중간 수준의 노이즈 영역(클러스터가 중간 정도로 손상되는 확률 범위)에서 ACL보다 뛰어난 성능을 유지한다.
• 고도통성 클러스터(예: Hopkins 2009, Simmons 2009)에서는 모든 방법이 유사하게 성능을 보이며, 이는 CRD의 우월성이 가장 두드러지는 중간적이고 현실적인 상황에서 나타남을 시사한다.
• ACL에서 관찰되는 질량 유출 문제를 CRD는 피하며, 특히 도통성이 약 0.3~0.5 수준인 클러스터에서는 국소적 구조를 유지하지 못하는 ACL과 대비된다.
• 일부 클러스터(예: Rice 2009, Colgate 2008)에서 CRD는 전역 알고리즘인 FlowImp와 거의 동등한 성능을 보이며, 이는 국소 알고리즘임에도 불구하고 뛰어난 효과를 지닌다는 것을 보여준다.