[論文レビュー] Variational Graph Generator for Multi-View Graph Clustering

Jianpeng Chen, Yawen Ling+7 more|arXiv (Cornell University)|Oct 13, 2022

Complex Network Analysis Techniques被引用数 4

ひとこと要約

本稿では、変分推論を用いて視点固有の構造と一貫性のあるグラフ構造を同時に学習する、多視点グラフクラスタリングのための変分的グラフ生成器VGMGCを提案する。複数の視点からスパースで確率的な一貫性のあるグラフを推論し、パラメータフリーのGNNエンコーダーを介して視点固有の特徴と統合することで、8つのベンチマークデータセットにおいて最先端の性能を達成し、クラスタリング精度および正規化相互情報量の両面で先行手法を上回った。

ABSTRACT

Multi-view graph clustering (MGC) methods are increasingly being studied due to the explosion of multi-view data with graph structural information. The critical point of MGC is to better utilize view-specific and view-common information in features and graphs of multiple views. However, existing works have an inherent limitation that they are unable to concurrently utilize the consensus graph information across multiple graphs and the view-specific feature information. To address this issue, we propose Variational Graph Generator for Multi-View Graph Clustering (VGMGC). Specifically, a novel variational graph generator is proposed to extract common information among multiple graphs. This generator infers a reliable variational consensus graph based on a priori assumption over multiple graphs. Then a simple yet effective graph encoder in conjunction with the multi-view clustering objective is presented to learn the desired graph embeddings for clustering, which embeds the inferred view-common graph and view-specific graphs together with features. Finally, theoretical results illustrate the rationality of the VGMGC by analyzing the uncertainty of the inferred consensus graph with the information bottleneck principle.Extensive experiments demonstrate the superior performance of our VGMGC over SOTAs. The source code is publicly available at https://github.com/cjpcool/VGMGC.

研究の動機と目的

• 既存の多視点グラフクラスタリング手法が、視点共通のグラフ構造と視点固有の特徴情報を同時に効果的に活用できないという限界を解決すること。
• 変分推論を用いて複数の視点から強固でスパースな一貫性のあるグラフを生成し、特徴とグラフレベルの共通性を統合すること。
• 視点固有の情報と一貫性のあるグラフ情報を効果的に統合するシンプルでパラメータフリーのグラフエンコーダーを設計すること。
• 情報ボトルネック原理を用いた理論的分析により、推論された一貫性のあるグラフにおける不確実性を最小化することで、モデルのロバストネスを正当化すること。
• 多様な多視点グラフクラスタリングベンチマークにおいて、VGMGCの最先端手法に対する優位性を実験的に検証すること。

提案手法

• 一貫性のあるグラフ生成のための変分推論プロセスを導くために、複数のグラフに対する事前仮定を定式化する。
• 変分的グラフ生成器は、グローバル特徴と多視点グラフ入力をもとに、各エッジが共通構造に属する確率をモデル化することで、スパースで離散的一貫性グラフを推論する。
• 視点固有のグラフと推論された一貫性グラフからの情報を集約するために、パラメータフリーのメッセージパッシング機構を用い、GNNの表現力は保ちつつ余分なパラメータを回避する。
• 視点固有の埋め込みを統合するための学習可能な集約メカニズムを用いて、多視点表現を統合し、クラスタリング用の統一された潜在表現を生成する。
• クラスタリング損失、一貫性グラフの再構築損失、および変分推論によるスパarsityと不確実性制御を促進する正則化項を組み合わせた目的関数を定式化する。
• 情報ボトルネック原理を用いた理論的分析により、モデルが一貫性グラフにおける不確実性を最小化することを示し、そのロバストネスを正当化する。

Figure 1: The illustration of VGMGC. $\oplus$ denotes concatenating operation. We first infer a cross-view consensus graph $\mathbf{\hat{S}}$ via the variational graph generator, and then, the variational consensus graph is normalized, and we feed it with each attributed view-specific graph into the

実験結果

リサーチクエスチョン

• RQ1 変分推論に基づくグラフ生成器は、複数の視点間で共通のトポロジー構造を効果的に抽出しつつ、視点固有の情報を保持できるか？
• RQ2 視点固有の構造と一貫性のあるグラフ構造を特徴と併せて統合するシンプルでパラメータフリーのGNNエンコーダーは、どのように設計できるか？
• RQ3 提案手法は、多様なデータセットにおいて最先端の多視点グラフクラスタリング手法を上回るクラスタリング性能を達成するか？
• RQ4 温度τや一貫性重みρといったハイパーパrameterに対して、モデルの性能はどの程度感度を示すか？
• RQ5 情報ボトルネック理論による正当化において、推論された一貫性グラフは不確実性をどの程度低減させ、ロバストネスを向上させるか？

主な発見

• VGMGCは8つの多視点グラフクラスタリングデータセットにおいて最先端の性能を達成し、クラスタリング精度および正規化相互情報量の両面で既存手法を上回った。
• DBLPデータセットでは、最良の単一視点結果と比較してNMIが2.5%向上し、多視点統合の有効性を示した。
• ハイパーパrameter ρ および τ の異なる値に対しても安定した性能を示し、NMIは3%未満、ACCは3%未塔の変動にとどまった。
• 収束解析により、すべての損失成分が約100エポック後に安定することが確認され、信頼性の高い学習ダイナミクスを示した。
• t-SNEによる可視化では、統合された表現（Z̄）が個々の視点に存在する曖昧なクラスタを明確に分離しており、特にDBLPにおける第3視点を上回る性能を示した。
• 過剰平滑化解析により、メッセージパッシングの段階数が高くなるほど性能が向上することが示され、VGMGCが深層GNNにおける特徴の過剰平滑化を効果的に緩和していることがわかった。

Figure 2: The Bayesian net of our variational graph generator about variables: $\mathbf{A}^{v}$ , $\mathbf{\hat{S}}$ , $\mathbf{\overline{X}}$ and $\mathbf{X}^{v}$ .