[論文レビュー] Model-free consistency of graph partitioning

Peter Diao, Dominique Guillot+2 more|arXiv (Cornell University)|Aug 12, 2016

Complex Network Analysis Techniques参考文献 18被引用数 8

ひとこと要約

本稿は、密グラフ極限理論とグラフオンを活用することで、モデルフリーな枠組みを導入し、グラフ分割における構造的整合性を評価する。これは、グラフオン構造が収束する場合、スペクトルクラスタリング（正規化ラプラシアンを用いるもの）やホモモルフィズム密度に基づく手法を含むクラスタリングアルゴリズムが、構造的に整合的であることを確立する。これは、i.i.d. データや特定の確率的モデルを仮定しないまま、安定性と漸近的整合性を保証する。

ABSTRACT

In this paper, we exploit the theory of dense graph limits to provide a new framework to study the stability of graph partitioning methods, which we call structural consistency. Both stability under perturbation as well as asymptotic consistency (i.e., convergence with probability $1$ as the sample size goes to infinity under a fixed probability model) follow from our notion of structural consistency. By formulating structural consistency as a continuity result on the graphon space, we obtain robust results that are completely independent of the data generating mechanism. In particular, our results apply in settings where observations are not independent, thereby significantly generalizing the common probabilistic approach where data are assumed to be i.i.d. In order to make precise the notion of structural consistency of graph partitioning, we begin by extending the theory of graph limits to include vertex colored graphons. We then define continuous node-level statistics and prove that graph partitioning based on such statistics is consistent. Finally, we derive the structural consistency of commonly used clustering algorithms in a general model-free setting. These include clustering based on local graph statistics such as homomorphism densities, as well as the popular spectral clustering using the normalized Laplacian. We posit that proving the continuity of clustering algorithms in the graph limit topology can stand on its own as a more robust form of model-free consistency. We also believe that the mathematical framework developed in this paper goes beyond the study of clustering algorithms, and will guide the development of similar model-free frameworks to analyze other procedures in the broader mathematical sciences.

研究の動機と目的

• 強い確率的仮定が欠如する状況下でも、一般的に用いられるグラフクラスタリング手法に理論的裏付けを与えること。
• 摂動に対する安定性と固定モデル下での漸近的整合性を統合的に統一した、一貫性のある枠組みを構築すること。
• 確率的アプローチで一般的に採用される i.i.d. データ仮定を排除することで、既存の整合性結果を一般化すること。
• グラフオン位相を用いて、モデルフリーな設定下でのクラスタリングアルゴリズムの分析のための数学的基盤を構築すること。
• 頂点に色を付けるグラフオンと連続的なノードレベル統計量（クラスタリングに適した情報）を含む、グラフ極限理論の拡張を図ること。

提案手法

• 頂点がクラスタメンバーシップを表す色を持つ S-色付きグラフオンへ、密グラフ極限理論を拡張する。
• ホモモルフィズム密度やスペクトル的性質といった、局所的グラフ構造を表す連続的なノードレベル統計量を、グラフオン上に定義する。
• グラフ構造の収束を形式化し、構造的整合性をクラスタリング写像の連続性として定義するために、グラフオン空間上のカット距離を用いる。
• 関数値が距離空間にとる関数に対するリース＝フィッシャーの定理を適用し、グラフオンおよび関連統計量の列の収束を保証する。
• スペクトルクラスタリング（正規化ラプラシアンを用いるもの）などのクラスタリングアルゴリズムの連続性をグラフオン位相で証明し、構造的整合性を示す。
• 入力となるグラフオンの収束が、結果として得られる（色分けされた）グラフオンの収束を引き起こすことを確立する。これは、データ生成メカニズムに依存しない。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. データや特定の確率的モデルを仮定しない状況でも、グラフ分割アルゴリズムを一貫して分析できるか？
• RQ2 グラフ構造における小さな摂動が、分割結果に小さな変化をもたらすための条件は何か？
• RQ3 モデルフリーな設定下で、クラスタリングアルゴリズムの漸近的整合性をどのように確立できるか？
• RQ4 グラフオン極限位相が、クラスタリング手順のロバスト性をどのように保証するか？
• RQ5 確率的仮定なしに、正規化ラプラシアンを用いたスペクトルクラスタリングが構造的に整合的であることを証明できるか？

主な発見

• 構造的整合性（グラフオン位相におけるクラスタリング写像の連続性）は、摂動に対する安定性と漸近的整合性の両方を含意する。
• ホモモルフィズム密度などの連続的なノードレベル統計量に基づくクラスタリングは、グラフオン収束下で構造的に整合的である。
• 正規化ラプラシアンを用いたスペクトルクラスタリングは、構造的に整合的である。これは、グラフオンから色分けグラフオンへの写像が連続であるためである。
• 本フレームワークは、従属的または i.i.d. でないデータに対しても適用可能であり、既存の確率的整合性結果を顕著に一般化する。
• 距離空間値関数に対するリース＝フィッシャーの定理が拡張され、グラフオンおよび統計量の列の収束を証明するために適用された。
• 有限グラフ上の連続的なノードレベル統計量は、グラフオン空間へ連続的に拡張可能であり、大規模なクラスタリングアルゴリズムの理論的分析を可能にする。