[論文レビュー] Established Clustering Procedures for Network Analysis

Paul B. Slater|arXiv (Cornell University)|Jun 25, 2008

Graph theory and applications参考文献 2被引用数 7

ひとこと要約

本稿では、重み付き有向ネットワーク（例えば、内部移住移動）を分析するための2段階クラスタリング手順—二重比例標準化の後、しきい値を適用した有向グラフにおける階層的クラスタリング—を提示する。この手法により、ハブ構造や孤立地域が明らかになり、主な結果としてパリのようなグローバル都市とサルディニアやニューエングランドのような地理的に孤立した地域が明確なクラスタとして特定された。

ABSTRACT

In light of the burgeoning interest in network analysis in the new millenium, we bring to the attention of contemporary network theorists, a two-stage double-standarization and hierarchical clustering (single-linkage-like) procedure devised in 1974. In its many applications over the next decade--primarily to the migration flows between geographic subdivisions within nations--the presence was often revealed of ``hubs''. These are, typically, ``cosmopolitan/non-provincial'' areas--such as the French capital, Paris--which send and receive people relatively broadly across their respective nations. Additionally, this two-stage procedure--which ``might very well be the most successful application of cluster analysis'' (R. C. Dubes)--has detected many (physically or socially) isolated groups (regions) of areas, such as those forming the southern islands, Shikoku and Kyushu, of Japan, the Italian islands of Sardinia and Sicily, and the New England region of the United States. Further, we discuss a (complementary) approach developed in 1976, involving the application of the max-flow/min-cut theorem to raw/non-standardized flows.

研究の動機と目的

• 現代のネットワーク理論において無視されがちな、1970年代に実証済みのクラスタリング手法を再活性化し、その重要性を浮き彫りにすること。
• 重み付き有向流れネットワークにおいて、ハブに類する構造や地理的に孤立した地域を効果的に同定できる手法の有効性を示すこと。
• 人口移動研究における初期の応用と現代のネットワーク科学の間のギャップを埋め、この手法が現代のネットワーク（例えば、ウェブやインターネット）にも関連性があることを示すこと。
• 移住データに限らない多様な重み付きネットワークデータにこの手法を適用するための技術的および概念的基盤を提供すること。
• この堅牢で経験的に検証済みの手法を、現在のネットワーク分析ツールキットに統合すべきであると提唱すること。

提案手法

• N×Nの流れ行列に二重比例スケーリング（双確率正規化）を適用し、行と列の和を1に標準化することで、周辺効果を除去しつつ、積比（cross-product ratios）を保持する。
• 反復的な行と列の乗数更新を用いて、双確率行列への収束を図り、広範な条件下で収束が保証され、Sinkhorn-Knopp定理によって裏付けられる。
• 標準化された行列を、段階的に低いしきい値を適用することで、(0,1)の有向グラフの系列に変換する。
• しきい値を低下させながら、単一結合に類似したクラスタリングを用いて階層的デンドログラムを構築し、成分の統合を表現する。
• 有向グラフにおける強連結成分を効率的に計算するため、TarjanのO(M log N)アルゴリズムを用い、しきい値を適用したグラフにおける成分検出を高速化する。
• 階層的クラスタリングを補完するために、標準化されていない元の流れデータに対して、マルチターミナル最大フロー／最小カット法を適用し、最小エッジカットに基づくノードクラスタを同定する。

実験結果

リサーチクエスチョン

• RQ1 標準化と階層的クラスタリングを組み合わせた2段階クラスタリング手順は、ネットワークの流れデータにおいて、ハブや孤立地域といった構造的特徴を効果的に明らかにできるか？
• RQ2 この手法の結果は、 preferring attachment やスケールフリーネットワークといった現代のネットワーク理論の概念とどの程度整合するか？
• RQ3 この手法は実証的に成功しているにもかかわらず、なぜ最近のネットワーク科学の文献で無視されてきたのか？
• RQ4 この手法による構造的インサイトは、Erdös-Rényi や Watts-Strogatz のような現代のモデルから得られるインサイトと比べてどう異なるか？
• RQ5 このアプローチは一般化可能であり、ウェブやインターネットインフラのような現代の重み付きネットワークに応用可能か？

主な発見

• 2段階手順により、パリが広範な移住流入・流出を示すグローバルハブとして明確に特定され、国家的中心都市としての役割と整合的であった。
• この手法により、イタリアのサルディニア島・シチリア島、日本の四国・九州、および米国のニューエングランド地域といった地理的に孤立した地域が明確なクラスタとして検出された。
• デンドログラムで可視化された階層的クラスタリングプロセスにより、しきい値を低下させると段階的に強連結成分が形成され、階層的な接続パターンが明らかになった。
• 元の流れデータに対する最大フロー／最小カット法により、大量の出移民を示すバダホス（スペイン）や、広範な流入を示すビスカヤ（バスク地方）といったノードクラスタが同定された。
• 双確率行列の使用により、相関の相対的尺度（積比）が保持され、標準化に対して不変性が保証された。
• この手順は大規模データセットにも成功裏に適用され、3,140×3,140の米国郡間移住表に対してもスケーラビリティと頑健性を示した。