[論文レビュー] Structured Graph Learning Via Laplacian Spectral Constraints

Sandeep Kumar, Jiaxi Ying+2 more|arXiv (Cornell University)|Sep 24, 2019

Advanced Graph Neural Networks被引用数 16

ひとこと要約

本稿では、組み合わせ的グラフ構造制約をグラフラプラシアン行列の固有値制約に変換する、構造的グラフ学習（SGL）という新しいフレームワークを提案する。これにより、効率的かつ証明可能に収束する最適化が可能になる。スペクトル的性質とガウスグラフィカルモデリングを統合することで、SGLは標本共分散データからスパースで接続された、クラスタリングされた、あるいは正則なグラフを直接学習でき、動物の知覚やがんゲノム解析データを含む実データおよび合成データ上で、最先端手法を上回る性能を発揮する。

ABSTRACT

Learning a graph with a specific structure is essential for interpretability and identification of the relationships among data. It is well known that structured graph learning from observed samples is an NP-hard combinatorial problem. In this paper, we first show that for a set of important graph families it is possible to convert the structural constraints of structure into eigenvalue constraints of the graph Laplacian matrix. Then we introduce a unified graph learning framework, lying at the integration of the spectral properties of the Laplacian matrix with Gaussian graphical modeling that is capable of learning structures of a large class of graph families. The proposed algorithms are provably convergent and practically amenable for large-scale semi-supervised and unsupervised graph-based learning tasks. Extensive numerical experiments with both synthetic and real data sets demonstrate the effectiveness of the proposed methods. An R package containing code for all the experimental results is available at https://cran.r-project.org/package=spectralGraphTopology.

研究の動機と目的

• 組み合わせ的制約を解析的に取り扱えるラプラシアン行列の固有値制約に再定式化することで、構造的グラフ学習のNP困難な課題に取り組む。
• スパース、接続、クラスタリング、正則なグラフなどの多様なグラフ族を、一つのスペクトル最適化フレームワーク内で統一的に学習すること。
• 事前処理や後処理を必要とせず、標本共分散データから構造と重みを同時に推定できる、計算的に効率的で証明可能に収束するアルゴリズムを開発すること。
• 非ガウス分布のデータに対しても頑健であることを示し、クラスタリングおよび構造同定タスクにおいて、最先端手法を上回ることを実証すること。
• 再現性と大規模な学習応用への実装を可能にする、オープンソースのRパッケージを提供すること。

提案手法

• 構造的グラフ学習を、グラフラプラシアン行列の固有値に関する最適化問題として定式化し、離散的な構造的制約（例：接続性、クラスタリング）を連続的なスペクトル制約に変換する。
• グラフラプラシアンのスペクトル的性質と滑らかなグラフ信号解析との関係を活用し、スペクトル正則化を通じて事前信号情報を組み込む。
• コアとなる最適化問題は、精度行列のログデターミナント尤度と、望ましい固有値制約を強制するスペクトル正則化項を統合する。
• 収束性と大規模問題へのスケーラビリティを保証する、増分乗数法（ADMM）に基づく効率的アルゴリズムを開発する。
• スペクトル制約の調整により、複数のグラフ族をサポートする。例えば、k成分クラスタリングのための最小固有値ギャップの強制、または接続性のためのゼロ固有値の数を固定する。
• 事前計算された類似度行列やしきい値処理ステップを必要とせず、標本共分散行列を入力として使用する。

実験結果

リサーチクエスチョン

• RQ1 構造的グラフ学習問題は、グラフラプラシアン行列の固有値制約付き最適化問題に再定式化可能か？
• RQ2 ラプラシアン固有値に対するスペクトル制約は、クラスタリング、接続、正則なグラフなどの多様なグラフ族を効果的に符号化できるか？
• RQ3 スペクトル制約に基づく統一的最適化フレームワークは、理論的収束性と大規模グラフ学習における実用的スケーラビリティを両立できるか？
• RQ4 本手法は、実世界のデータにおいて、クラスタリング精度と構造の解釈可能性という観点から、最先端のグラフ学習アルゴリズムと比較してどのように優れているか？
• RQ5 ガウスグラフィカルモデルの仮定が破られる場合、本手法は非ガウス分布のデータをどの程度効果的に処理できるか？

主な発見

• SGLアルゴリズムはがんゲノム解析データセットでクラスタリング精度0.99875を達成し、最先端手法CLR（0.9862）を上回り、構造と重みの共同推定において優れた性能を示した。
• 動物の知覚データセットでは、k=5の成分でSGLが類似した動物（例：トロール/サーモン、ハチ/バッタ）を明確に別々のクラスタに分類したが、GLassoとGGLは過剰にスパースな正則化により破片的なグラフを生成した。
• k=1でSGLはスパースではあるが接続されたグラフを生成し、グローバルな接続性を維持しながら構造的スパarsityを効果的に強制した。一方、標準的手法はしばしばグラフを複数の成分に分割する傾向にあった。
• 本手法は非ガウス的カテゴリカルデータ（例：動物の特徴）から意味のあるグラフ構造を学習でき、ガウスグラフィカルモデルのガウス仮定を越えた頑健性を示した。
• 提案されたアルゴリズムは証明可能に収束し、計算的にも効率的であるため、大規模な半教師ありおよび教師なしグラフ学習タスクを実現可能にした。
• CRANにオープンソースのRパッケージが提供されており、すべての実験結果の再現性と実用的デプロイメントを可能にしている。