[論文レビュー] Generalized Spectral Clustering via Gromov-Wasserstein Learning

Samir Chowdhury, Tom Needham|arXiv (Cornell University)|Jun 7, 2020

Complex Network Analysis Techniques参考文献 52被引用数 13

ひとこと要約

本稿では、Gromov-Wassersteinフレームワークにおける隣接行列を熱核に置き換えることで、一般化されたスペクトルクラスタリング手法であるSpectral Gromov-Wasserstein Learning (SpecGWL) を提案する。熱核のマルチスケール性および安定性を活用することで、SpecGWLは実世界のネットワークにおいて最先端のGWLを上回る性能を達成し、Fiedlerベクトルを通じて最適輸送とスペクトルクラスタリングの間の新たな理論的接続を確立する。

ABSTRACT

We establish a bridge between spectral clustering and Gromov-Wasserstein Learning (GWL), a recent optimal transport-based approach to graph partitioning. This connection both explains and improves upon the state-of-the-art performance of GWL. The Gromov-Wasserstein framework provides probabilistic correspondences between nodes of source and target graphs via a quadratic programming relaxation of the node matching problem. Our results utilize and connect the observations that the GW geometric structure remains valid for any rank-2 tensor, in particular the adjacency, distance, and various kernel matrices on graphs, and that the heat kernel outperforms the adjacency matrix in producing stable and informative node correspondences. Using the heat kernel in the GWL framework provides new multiscale graph comparisons without compromising theoretical guarantees, while immediately yielding improved empirical results. A key insight of the GWL framework toward graph partitioning was to compute GW correspondences from a source graph to a template graph with isolated, self-connected nodes. We show that when comparing against a two-node template graph using the heat kernel at the infinite time limit, the resulting partition agrees with the partition produced by the Fiedler vector. This in turn yields a new insight into the k-cut graph partitioning problem through the lens of optimal transport. Our experiments on a range of real-world networks achieve comparable results to, and in many cases outperform, the state-of-the-art achieved by GWL.

研究の動機と目的

• Gromov-Wasserstein学習（GWL）における隣接行列の使用に理論的根拠が欠如しているという問題に対処するため、代替的なグラフ表現の探求。
• GWLフレームワークにおける隣接行列の置き換えとして熱核を用いることで、グラフ分割性能の向上。
• 特にFiedlerベクトルを通じて、SpecGWLと古典的スペクトルクラスタリングとの厳密な理論的接続の確立。
• 熱核に基づくGWMが隣接行列に基づく手法よりも安定的で構造を保全するノード対応を実現することを、理論的および実験的証明。
• GW損失のランドスケープを分析し、ソフトノード対応を可視化するためのツールの開発により、GWに基づくグラフ学習の解釈可能性の向上。

提案手法

• GWLにおける隣接行列を、グラフ上のマルチスケール拡散過程を符号化する熱核行列に置き換える。
• 関係データとして熱核を用いるGromov-Wasserstein問題を定式化し、ソースおよびテンプレートグラフ間のソフトノード対応を可能にする。
• 自己結合付きの2ノードテンプレートグラフを用い、熱核の無限時間極限がFiedlerベクトルによる分割を回復することを示す。
• 勾配降下法を用いてGW損失を最適化し、マーカフチェーンサンプリングによりエネルギーランドスケープを探索し、収束性および局所的最小値の評価を実施。
• ソフトマッチングの品質を、異なる手法間での構造保存性の比較によって評価する可視化技術を導入。
• 理論的分析として、最適コペュリングのスパarsityの証明および、Fiedlerベクトルを通じてSpecGWLの分割とスペクトルクラスタリングとの等価性の確立。

実験結果

リサーチクエスチョン

• RQ1 Gromov-Wassersteinフレームワークにおける隣接行列の熱核への置き換えが、グラフ分割性能の向上に寄与するか？
• RQ2 熱核のマルチスケール性が、ノード対応学習における安定性および情報量の向上に寄与するか？
• RQ3 SpecGWLと古典的スペクトルクラスタリングの間には、特にFiedlerベクトルを通じて理論的接続が存在するか？
• RQ4 SpecGWLの損失ランドスケープは、GWLと比較して偽の局所的最小値が少なく、収束速度が速いか？
• RQ5 熱核に基づくマッチングは、隣接行列に基づくマッチングと比較して、グローバルなグラフ構造をどの程度保全するか？

主な発見

• SpecGWLは、全テスト対象の実世界ネットワークにおいてGWLを上回り、Wikipedia、EU-email、Amazon、Villageデータセットで最高のAMIスコアを達成した。
• Wikipediaデータセットでは、対称的でノイズのない原始データに対してAMIが0.442を記録し、GWLの0.382を上回り、有向グラフ分割においてInfomapをも凌駆した。
• Amazonデータセットでは、ノイズを含むデータに対してAMIが0.692を達成し、GWLの0.573を顕著に上回り、エッジの摂動に対して強い耐性を示した。
• SpecGWLの損失ランドスケープは、偽の局所的最小値が少なく、勾配降下法における収束速度がGWLと比較して10倍速かった。
• 可視化結果から、熱核に基づくマッチングが、隣接行列に基づく手法と比較して、グローバルなグラフ構造をより忠実に保全していることが確認された。
• 理論的には、熱核の無限時間極限によるSpecGWLの分割が、Fiedlerベクトルによる分割を正確に回復することを示し、最適輸送とスペクトルクラスタリングの間の直接的な接続を確立した。