[論文レビュー] Gromov-Wasserstein Factorization Models for Graph Clustering

Hongteng Xu|arXiv (Cornell University)|Nov 19, 2019

Topological and Geometric Data Analysis参考文献 30被引用数 8

ひとこと要約

本稿では、Gromov-Wasserstein重心を用いて学習可能な重みを持つ共有原子にグラフを因子分解する、グラフクラスタリングのための新規なGromov-Wasserstein因子分解（GWF）モデルを提案する。観測されたグラフとその重心的再構成の間のGW不一致を最小化することで、サイズやトポロジーが異なる非整合的かつ異種のグラフの柔軟で解釈可能なクラスタリングが可能となり、PROTEINおよびIMDB-Bデータセットで最先端の精度を達成した。

ABSTRACT

We propose a new nonlinear factorization model for graphs that are with topological structures, and optionally, node attributes. This model is based on a pseudometric called Gromov-Wasserstein (GW) discrepancy, which compares graphs in a relational way. It estimates observed graphs as GW barycenters constructed by a set of atoms with different weights. By minimizing the GW discrepancy between each observed graph and its GW barycenter-based estimation, we learn the atoms and their weights associated with the observed graphs. The model achieves a novel and flexible factorization mechanism under GW discrepancy, in which both the observed graphs and the learnable atoms can be unaligned and with different sizes. We design an effective approximate algorithm for learning this Gromov-Wasserstein factorization (GWF) model, unrolling loopy computations as stacked modules and computing gradients with backpropagation. The stacked modules can be with two different architectures, which correspond to the proximal point algorithm (PPA) and Bregman alternating direction method of multipliers (BADMM), respectively. Experiments show that our model obtains encouraging results on clustering graphs.

研究の動機と目的

• サイズやトポロジーが異なる非整合的かつ異種のグラフを扱える、グラフのような構造的データの因子分解モデルを開発すること。
• Gromov-Wasserstein不一致を用いた関係的・擬距離ベースの枠組みを導入することで、従来の因子分解モデルをベクトル化されたデータを超えて拡張すること。
• 明示的な原子と係数を通じて解釈可能なグラフ埋め込みを実現し、ブラックボックス型のグラフニューラルネットワークよりもモデルの解釈性を向上させること。
• アンロールド最適化とバックプロパゲーションを用いた、GWFモデルのための効率的で微分可能な学習アルゴリズムを設計すること。
• ベンチマークデータセットにおけるグラフクラスタリングおよび分類タスクにおいて、本モデルの優位性を実証すること。

提案手法

• 各グラフは隣接行列および（必要に応じて）ノード属性によって表現され、ノードは単体上に一様に配置される。
• グラフ再構成をGromov-Wasserstein重心問題として定式化し、観測されたグラフを学習済みの原子の重み付き組み合わせによって近似する。
• 目的関数は、各観測グラフとその重心的再構成との間のGW不一致を最小化し、原子と係数を学習可能なパラメータとして用いる。
• ループを含むGW計算をアンロールドしてスタックされたモジュールに変換することで、包絡定理を用いたバックプロパゲーションが可能な近似学習アルゴリズムを開発する。
• 2つのアーキテクチャ（近接点法（PPA）およびBregman ADMM（BADMM））を用いて実装され、両者ともエンドツーエンド学習をサポートする。
• 本モデルは属性付きおよび属性なしの両方のグラフに対応でき、O(LKI)の複雑さのおかげで大規模クラスタリングにも対応可能である。

実験結果

リサーチクエスチョン

• RQ1 非整合的かつサイズが異なるグラフに対しても、解釈可能な係数を持つ共有原子に明示的に因子分解できるモデルを設計できるか？
• RQ2 Gromov-Wasserstein不一致が、因子分解フレームワーク内での関係的グラフ比較に意味のある擬距離として機能できるか？
• RQ3 GW計算の非凸的かつ反復的な性質を考慮しても、GWに基づく因子分解のためのエンドツーエンドでバックプロパゲーション可能な学習アルゴリズムを構築できるか？
• RQ4 提案されたGWFモデルは、ベンチマークデータセットにおいて既存のグラフクラスタリングおよび分類手法を上回る性能を示すか？
• RQ5 PPAとBADMMの実装は、GWFモデルの収束性、精度、実行時間の観点でどのように比較できるか？

主な発見

• PPAベースのGWFモデルはAIDSデータセットで99.5％のクラスタリング精度を達成し、次に優れた手法（FGWK）の91.0％を顕著に上回った。
• PROTEINデータセットでは、PPAベースのGWFは分類タスクで70.7％の精度を達成し、FGWK（75.1％）を上回り、クラスタリングタスクで64.7％のGWB-KMを上回った。
• BADMMベースのGWFモデルはPROTEINで69.3％のクラスタリング精度を達成し、GWB-KM（62.9％）を上回り、FGWKの性能に近づいた。
• GWFモデルは、複数回の実行における結果の標準偏差が小さく、FGWKよりも優れた安定性を示した。
• 本モデルのO(LKI)の複雑さは、FGWKのO(I²)の複雑さとは異なり、大規模グラフに対してもスケーラブルである。
• t-SNE可視化により、学習済みのグラフ埋め込みが4つのデータセットすべてにおいて、下位のクラスタリング構造を効果的に捉えていることが確認された。