[論文レビュー] A Unified Framework for Optimization-Based Graph Coarsening

M. Kumar, Anurag Sharma+1 more|arXiv (Cornell University)|Oct 2, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、グラフのトポロジーとノード特徴量の両方を統合して、元のグラフとのスペクトル的類似性および$\varepsilon$-類似性を保証する、最適化に基づく新しいグラフ粗粒化フレームワークを提案する。この手法は、ブロック主成分最小化法を用い、対数行列式、ディリクレエネルギー、正則化項を組み合わせることで、多ブロック非凸最適化問題を解き、収束性が保証され、実世界の応用において強力な実験的性能を達成する。

ABSTRACT

Graph coarsening is a widely used dimensionality reduction technique for approaching large-scale graph machine learning problems. Given a large graph, graph coarsening aims to learn a smaller-tractable graph while preserving the properties of the originally given graph. Graph data consist of node features and graph matrix (e.g., adjacency and Laplacian). The existing graph coarsening methods ignore the node features and rely solely on a graph matrix to simplify graphs. In this paper, we introduce a novel optimization-based framework for graph dimensionality reduction. The proposed framework lies in the unification of graph learning and dimensionality reduction. It takes both the graph matrix and the node features as the input and learns the coarsen graph matrix and the coarsen feature matrix jointly while ensuring desired properties. The proposed optimization formulation is a multi-block non-convex optimization problem, which is solved efficiently by leveraging block majorization-minimization, $\log$ determinant, Dirichlet energy, and regularization frameworks. The proposed algorithms are provably convergent and practically amenable to numerous tasks. It is also established that the learned coarsened graph is $ε\in(0,1)$ similar to the original graph. Extensive experiments elucidate the efficacy of the proposed framework for real-world applications.

研究の動機と目的

• 既存のグラフ粗粒化手法がノード特徴量を無視し、グラフ行列にのみ依存するという限界を是正すること。
• 共同最適化により、グラフ学習と次元削減を統合すること。
• 粗粒化されたグラフが、スペクトル的類似性や$\varepsilon$-類似性といった重要な性質を保持することを保証すること。
• グラフ行列と特徴量行列の両方を同時に処理できる、収束性が保証されたアルゴリズムの開発。
• スケーラビリティと下流タスクの有効性を向上させるために、グラフ粗粒化と併せて特徴量次元の削減を可能にすること。

提案手法

• 本フレームワークは、再構成誤差、スペクトル的類似性、正則化項を同時に最小化する多ブロック非凸最適化問題としてグラフ粗粒化を定式化する。
• 収束を保証するために、ブロック主成分最小化法を用いて反復的に粗粒化行列$C$と粗粒化特徴量行列$\tilde{X}$を最適化する。
• 目的関数には、低ランク構造を促進するための対数行列式項、滑らかさを保持するためのディリクレエネルギー、スパarsityを促進するための$\ell_1$-正則化項を組み込む。
• 非負性、行単位の$\ell_2$-ノルム制約、構造的忠実性を維持するための直交性に類似した性質を制約として導入する。
• 特徴量次元の削減に対応するため、粗粒化特徴量行列とその次元を同時に最適化するように拡張する。
• KKT条件を導出し、アルゴリズムの極限点が最適性条件を満たすことを証明することで、理論的収束性を確立する。

実験結果

リサーチクエスチョン

• RQ1 統合的最適化フレームワークにより、グラフ構造とノード特徴量を同時に粗粒化しつつ、重要なグラフ特性を保持できるか？
• RQ2 トポロジーと特徴量を用いて、グラフ粗粒化中にスペクトル的類似性と$\varepsilon$-類似性をどのように数学的に強制できるか？
• RQ3 グラフと特徴量の共同粗粒化において、多ブロック非凸設定で収束を保証する最適化戦略は何か？
• RQ4 ノード特徴量を組み込むことで、実世界の下流タスクにおける粗粒化グラフの品質がどの程度向上するか？
• RQ5 グラフ構造とノード特徴量の関係を保持しつつ、同時に特徴量次元の削減が可能か？

主な発見

• 提案フレームワークは、粗粒化グラフと元のグラフとの間で$\varepsilon$-類似性を達成し、$\epsilon \in (0,1)$を満たすことで構造的忠実性を保証する。
• アルゴリズムは収束性が保証されており、極限点は最適化問題のKKT条件を満たす。
• 広範な実験により、実世界のグラフデータセットにおいて本フレームワークの有効性が示され、特徴量に依存しない粗粒化手法を上回る性能を発揮する。
• グラフ行列と特徴量行列の共同最適化により、同質性（homophily）と滑らかさの性質が保持され、ノード特徴量を無視する手法では失われる。
• 特徴量次元の削減が副次的に行えるため、コンactかつ情報豊富な表現が可能になる。
• 理論的分析により、$\|\tilde{X}\|_{\Theta_c} \in [(1-\epsilon)\|X\|_{\Theta}, (1+\epsilon)\|X\|_{\Theta}]$が確認され、特徴量ノルムの有界な保存が裏付けられる。