[논문 리뷰] Excisive Hierarchical Clustering Methods for Network Data

Gunnar Carlsson, Facundo Mémoli외 2명|arXiv (Cornell University)|2016. 07. 21.

Complex Network Analysis Techniques참고 문헌 30인용 수 3

한 줄 요약

이 논문은 비대칭 네트워크 데이터를 위한 절단 가능하고 선형 척도 유지 성질을 갖춘 계층적 군집화 방법을 제안하며, 局소 일致성과 단위 불변성을 보장한다. 모든 이러한 방법이 대칭화 변환을 거친 후 단일 연결 군집화를 수행하는 방식으로 분해될 수 있음을 증명함으로써, 이론적 보장을 갖춘 안정적이고 계산적으로 효율적인 군집화를 가능하게 한다.

ABSTRACT

We introduce two practical properties of hierarchical clustering methods for (possibly asymmetric) network data: excisiveness and linear scale preservation. The latter enforces imperviousness to change in units of measure whereas the former ensures local consistency of the clustering outcome. Algorithmically, excisiveness implies that we can reduce computational complexity by only clustering a data subset of interest while theoretically guaranteeing that the same hierarchical outcome would be observed when clustering the whole dataset. Moreover, we introduce the concept of representability, i.e. a generative model for describing clustering methods through the specification of their action on a collection of networks. We further show that, within a rich set of admissible methods, requiring representability is equivalent to requiring both excisiveness and linear scale preservation. Leveraging this equivalence, we show that all excisive and linear scale preserving methods can be factored into two steps: a transformation of the weights in the input network followed by the application of a canonical clustering method. Furthermore, their factorization can be used to show stability of excisive and linear scale preserving methods in the sense that a bounded perturbation in the input network entails a bounded perturbation in the clustering output.

연구 동기 및 목표

• 비대칭 네트워크 데이터의 계층적 군집화에서 강건성과 계산 효율성을 보장하는 실용적 성질인 절단 가능성과 선형 척도 유지 성질을 규명하는 것.
• 이러한 실용적 성질을 만족하는 군집화 방법을 특징짓는 생성 모델(표현 가능성)을 개발하는 것.
• 절단 가능하고 선형 척도 유지 성질을 갖는 방법들이 대칭화 변환을 거친 후 단일 연결 군집화로 분해될 수 있음을 이론적으로 확립하는 것.
• 입력 네트워크에 대한 유한한 편향이 있을 경우에도 이러한 방법의 안정성을 증명하는 것.
• 실제 경제 네트워크에서의 접근 방식을 검증하여 절단 가능성을 경험적으로 입증하는 것.

제안 방법

• 하위 네트워크의 군집화 결과가 전체 네트워크의 다이아그램에서 해당 분지와 동일한 결과를 낳는 절단 가능성을 도입한다.
• 비유사도 값의 스칼라 곱에 대해 군집화 결과가 변화하지 않는 성질인 선형 척도 유지 성질을 정의한다.
• 군집화 방법이 특수한 네트워크인 '표현자(representers)'에서의 행동에 의해 정의되는 생성 모델인 표현 가능성을 도입한다.
• 표현 가능성이 절단 가능성과 선형 척도 유지 성질의 동시 만족과 수학적으로 동치임을 증명한다.
• 두 단계로 구성된 인수분해를 유도한다: 먼저 네트워크에 대칭화 사상 Λ^Ω를 적용하고, 그 결과로 나온 대칭 네트워크에 대해 단일 연결 군집화를 수행한다.
• 이 인수분해를 활용하여 안정성 증명을 수행한다: 입력의 유한한 편향은 다이아그램의 출력 변화를 유한하게 제한한다.

실험 결과

연구 질문

• RQ1 절단 가능성과 선형 척도 유지 성질은 비대칭 네트워크의 의미 있는 계층적 군집화 방법을 걸러내는 실용적 기준으로 사용될 수 있는가?
• RQ2 절단 가능하고 척도 유지 성질을 만족하는 군집화 방법의 전체 집합을 정확히 기술하는 생성 모델이 존재하는가?
• RQ3 모든 이러한 방법들이 대칭화 변환을 거친 후 단일 연결 군집화로 분해될 수 있는가?
• RQ4 절단 가능성과 척도 유지 성질을 요구하는 것은 입력에 대한 유한한 편향이 있을 경우에도 안정성을 보장하는가?
• RQ5 제안된 방법은 어떻게 효율적으로 구현하고 실세계 네트워크 데이터에 대해 검증할 수 있는가?

주요 결과

• 절단 가능성은 하위 네트워크를 군집화할 경우 전체 네트워크의 다이아그램에서 동일한 분지 결과를 낳음을 보장하므로, 확장 가능하고 국소적인 계산이 가능하다.
• 선형 척도 유지 성질은 측정 단위의 변화에 영향을 받지 않아 군집화 결과가 일관되며, 이는 해석 가능성과 강건성을 향상시킨다.
• 표현 가능성은 절단 가능성과 선형 척도 유지 성질의 동시 만족과 수학적으로 동치이며, 실용적인 군집화 방법의 완전한 특징을 제공한다.
• 모든 절단 가능하고 선형 척도 유지 성질을 갖는 방법은 대칭화 사상 이후 단일 연결 군집화로 분해될 수 있으며, 이는 모듈러하고 효율적인 구현을 가능하게 한다.
• 제안된 방법은 안정적이다: 입력 네트워크의 유한한 편향은 군집화 출력의 유한한 변화로 이어지며, 이는 신뢰성을 보장한다.
• 실제 경제 네트워크에서의 경험적 검증을 통해 하위 네트워크 군집화 시 다이아그램의 구조가 유지됨을 확인하여 실생활에서의 절단 가능성을 입증한다.