[論文レビュー] A Unified Framework for Structured Graph Learning via Spectral Constraints

Sandeep Kumar, Jiaxi Ying+2 more|arXiv (Cornell University)|Apr 22, 2019

Advanced Graph Neural Networks参考文献 87被引用数 50

ひとこと要約

この論文は、スペクトル制約をラプラシアンと隣接行列に適用することで、事前定義された構造を持つグラフを学習するための、ガウスグラフィカルモデルとスペクトルグラフ理論を統合した統一フレームワークを提案します。

ABSTRACT

Graph learning from data represents a canonical problem that has received substantial attention in the literature. However, insufficient work has been done in incorporating prior structural knowledge onto the learning of underlying graphical models from data. Learning a graph with a specific structure is essential for interpretability and identification of the relationships among data. Useful structured graphs include the multi-component graph, bipartite graph, connected graph, sparse graph, and regular graph. In general, structured graph learning is an NP-hard combinatorial problem, therefore, designing a general tractable optimization method is extremely challenging. In this paper, we introduce a unified graph learning framework lying at the integration of Gaussian graphical models and spectral graph theory. To impose a particular structure on a graph, we first show how to formulate the combinatorial constraints as an analytical property of the graph matrix. Then we develop an optimization framework that leverages graph learning with specific structures via spectral constraints on graph matrices. The proposed algorithms are provably convergent, computationally efficient, and practically amenable for numerous graph-based tasks. Extensive numerical experiments with both synthetic and real data sets illustrate the effectiveness of the proposed algorithms. The code for all the simulations is made available as an open source repository.

研究の動機と目的

• interpretable で predefined な構造を持つグラフを学習する必要性を動機づける。
• グラフマトリクスのスペクトル特性を通じて構造的制約を課す、解法可能な最適化フレームワークを開発する。
• 組合せ的制約をスペクトル制約へ変換することにより、学習と構造推定を統一する。ラプラシアンおよび隣接行列に対する制約。
• 様々な構造化グラフおよび実データセットに適用可能な収束性のある効率的なアルゴリズムを提供する。

提案手法

• 構造化グラフ学習を、Theta をラプラシアン構造に制約して、log det(g Theta) の最大化 minus trace(Theta S) minus alpha h(Theta) とする形で定式化する。
• 固有値集合を用いて Theta (ラプラシアン) および Theta_A (隣接) にスペクトル制約を課し、k 成分、連結スパース、d-正則、cospectral 構造を可能にする。
• BSUM / ブロック大域化-最小化アルゴリズムを開発し、最悪計算量 O(p^3) の制約付き最適化を解く。GLasso に匹敵する。
• 形式をラプラシアンスペクトル制約 (SGL)、隣接スペクトル制約 (二部学習用)、および結合ラプラシアン-隣接スペクトル制約 (SGL-Joint) に特化する。
• 固有分解 Theta = U Diag(lambda) U^T および Theta_A = V Diag(psi) V^T を用い、lambda および psi に適切な制約集合を課す。
• 再現実験のオープンソースコードを提供: https://github.com/dppalomar/spectralGraphTopology

実験結果

リサーチクエスチョン

• RQ1 組合せ的グラフ構造制約をどのように解析的なスペクトル制約としてグラフマトリクスに再表現できるか。
• RQ2 1つの最適化フレームワークで複数の構造クラス（例: 多成分、二部、正則）を同時に学習できるか。
• RQ3 BSUM ベースのアルゴリズムを用いた structured graph learning における収束性と計算効率はどこまで達成できるか。
• RQ4 提案手法は合成データおよび実データにおけるクラスタリングやネットワーク推定といったタスクでどの程度性能を示すか。
• RQ5 結合ラプラシアンと隣接スペクトル制約が複雑なグラフ構造に及ぼす含意は何か。

主な発見

• 本フレームワークは構造制約をラプラシアンおよび隣接行列のスペクトル制約へ変換し、解を算出可能にする。
• BSUM に基づくアルゴリズムは理論的に収束し、計算効率は GLasso (O(p^3)) に匹敵する。
• 本手法は k-component、連結スパース、d-正則、二部グラフを含む複数の構造クラスをサポートし、cospectral な状況にも拡張可能。
• 合成データおよび実データでの extensive な実験により、提案された構造化グラフ学習法の有効性を示す。
• 再現実験と実験のためのオープンソースコードが提供されている。