[논문 리뷰] Established Clustering Procedures for Network Analysis

Paul B. Slater|arXiv (Cornell University)|2008. 06. 25.

Graph theory and applications참고 문헌 2인용 수 7

한 줄 요약

이 논문은 가중치가 부여되고 방향성이 있는 네트워크, 예를 들어 내부 이주 유동을 분석하기 위해 이중비례 표준화 후 임계값을 적용한 방향성 그래프에서의 계층적 군집화를 포함하는 이단계 군집화 절차를 제시한다. 이는 도시 중심지와 고립된 지역을 드러내며, 주요 결과로 파리와 같이 세계적 중심지인 도시와 사르디니아, 뉴잉글랜드처럼 지리적으로 고립된 지역이 별개의 군집으로 나타남을 보여준다.

ABSTRACT

In light of the burgeoning interest in network analysis in the new millenium, we bring to the attention of contemporary network theorists, a two-stage double-standarization and hierarchical clustering (single-linkage-like) procedure devised in 1974. In its many applications over the next decade--primarily to the migration flows between geographic subdivisions within nations--the presence was often revealed of ``hubs''. These are, typically, ``cosmopolitan/non-provincial'' areas--such as the French capital, Paris--which send and receive people relatively broadly across their respective nations. Additionally, this two-stage procedure--which ``might very well be the most successful application of cluster analysis'' (R. C. Dubes)--has detected many (physically or socially) isolated groups (regions) of areas, such as those forming the southern islands, Shikoku and Kyushu, of Japan, the Italian islands of Sardinia and Sicily, and the New England region of the United States. Further, we discuss a (complementary) approach developed in 1976, involving the application of the max-flow/min-cut theorem to raw/non-standardized flows.

연구 동기 및 목표

• 현대 네트워크 이론에서 간과당한 1970년대에 입증된 군집화 방법론을 부활시키고 주목받게 하기 위해.
• 이 방법이 가중치가 있고 방향성이 있는 유동 네트워크에서 중심지 유형의 구조와 고립된 지리적 지역을 효과적으로 탐지할 수 있음을 보여주기 위해.
• 인구 이주 연구에서의 초기 적용과 현대 네트워크 과학 사이의 격차를 메우기 위해, 이 방법이 웹이나 인터넷과 같은 현대 네트워크에도 관련성이 있음을 보여주기 위해.
• 이주 외의 다양한 가중치가 있는 네트워크 데이터에 이 방법을 적용하기 위한 기술적이고 개념적인 기반을 마련하기 위해.
• 이 견고하고 경험적으로 검증된 접근 방식을 현재의 네트워크 분석 툴킷에 통합할 것을 주장하기 위해.

제안 방법

• N×N 유동 행렬에 대해 이중비례 스케일링(이중확률 정규화)을 적용하여 행과 열의 합을 1로 표준화함으로써, 경계 효과를 제거하면서도 곱비율(교차곱비율)을 유지함.
• 반복적인 행과 열의 승수 갱신을 통해 이중확률 행렬로 수렴시키며, 넓은 조건 하에서 수렴이 보장되고 Sinkhorn-Knopp 정리에 의해 뒷받침됨.
• 표준화된 행렬을 점차 낮은 임계값을 적용하여 (0,1) 방향성 그래프의 시퀀스로 변환함.
• 임계값을 낮출수록 구성 요소가 융합되는 것을 나타내는 단일 연결 유사 군집화 방식으로 계층적 디로그램을 구축함.
• 임계값을 적용한 그래프에서 강한 성분을 신속하게 탐지하기 위해 Tarjan의 효율적인 O(M log N) 알고리즘을 활용함.
• 원본 표준화되지 않은 유동 데이터에 대해 다중종점 최대유량/최소커팅 접근법을 보완적으로 적용하여, 최소 간선 컷 기반의 노드 군집을 식별함.

실험 결과

연구 질문

• RQ1 표준화와 계층적 군집화를 조합한 이단계 군집화 절차가 네트워크 유동 데이터에서 중심지나 고립 지역과 같은 구조적 특징을 효과적으로 드러낼 수 있는가?
• RQ2 이 방법의 결과가 선호적 연결 및 스케일프리 네트워크와 같은 현대 네트워크 이론 개념과 어느 정도 일치하는가?
• RQ3 이 방법이 입증된 성공을 거두었음에도 불구하고 최근 네트워크 과학 문헌에서 왜 간과당했는가?
• RQ4 이 방법으로부터 도출된 구조적 통찰은 Erdös-Rényi 및 Watts-Strogatz와 같은 현대 모델에서 유도된 통찰과 어떻게 비교되는가?
• RQ5 이 접근법을 웹이나 인터넷 인프라와 같은 현대의 가중치가 있는 네트워크로 일반화하고 적용할 수 있는가?

주요 결과

• 이중단계 절차는 파리가 광범위한 이주 유입과 유출을 보이며 국가적 중심지 역할을 한다는 점과 일치하는 세계적 중심지로 파리의 존재를 성공적으로 식별함.
• 이 방법은 이탈리아의 사르디니아와 시실리, 일본의 시코쿠와 큐슈, 미국의 뉴잉글랜드 지역 등 지리적으로 고립된 지역이 별개의 군집으로 탐지됨.
• 디로그램으로 시각화된 계층적 군집화 과정은 임계값을 낮출수록 나타나는 강한 성분의 중첩된 구조를 드러내며, 이는 계층적 연결 패턴을 시사함.
• 원본 유동 데이터에 대한 최대유량/최소커팅 접근법은 바다호즈(스페인)와 같이 큰 유출 영향을 미치는 노드 군집과 비스카야(바스크 지방)와 같이 광범위한 유입 영역을 가진 노드 군집을 식별함.
• 이중확률 행렬의 사용은 상대적 연관 측정치(교차곱비율)를 유지하여 표준화에 대해 불변성을 확보함.
• 이 절차는 대규모 데이터셋에 성공적으로 적용되었으며, 3,140×3,140 미국 내 군별 이주 표와 같은 대규모 데이터를 처리하여 확장성과 견고성을 입증함.