[論文レビュー] Learning Product Graphs Underlying Smooth Graph Signals

Muhammad Asad Lodhi, Waheed U. Bajwa|arXiv (Cornell University)|Feb 26, 2020

Advanced Graph Neural Networks参考文献 41被引用数 5

ひとこと要約

本稿では、滑らかなグラフ信号から構造的積グラフ（Kronecker、Cartesian、strong積）を学習するための新規手法を提案する。線形計画法と交互最小化を用い、低ランク因子分解を活用することで、サンプルおよび計算複雑性を低減し、最先端のグラフ学習手法よりも優れた性能と局所的収束保証を達成する。

ABSTRACT

Real-world data is often times associated with irregular structures that can analytically be represented as graphs. Having access to this graph, which is sometimes trivially evident from domain knowledge, provides a better representation of the data and facilitates various information processing tasks. However, in cases where the underlying graph is unavailable, it needs to be learned from the data itself for data representation, data processing and inference purposes. Existing literature on learning graphs from data has mostly considered arbitrary graphs, whereas the graphs generating real-world data tend to have additional structure that can be incorporated in the graph learning procedure. Structure-aware graph learning methods require learning fewer parameters and have the potential to reduce computational, memory and sample complexities. In light of this, the focus of this paper is to devise a method to learn structured graphs from data that are given in the form of product graphs. Product graphs arise naturally in many real-world datasets and provide an efficient and compact representation of large-scale graphs through several smaller factor graphs. To this end, first the graph learning problem is posed as a linear program, which (on average) outperforms the state-of-the-art graph learning algorithms. This formulation is of independent interest itself as it shows that graph learning is possible through a simple linear program. Afterwards, an alternating minimization-based algorithm aimed at learning various types of product graphs is proposed, and local convergence guarantees to the true solution are established for this algorithm. Finally the performance gains, reduced sample complexity, and inference capabilities of the proposed algorithm over existing methods are also validated through numerical simulations on synthetic and real datasets.

研究の動機と目的

• 未知のグラフ構造を有する大規模で構造的なグラフを滑らかなグラフ信号から学習する課題に対処すること。
• 現実世界のグラフに内在する積構造を活用することで、サンプル数、メモリ使用量、計算複雑性を低減すること。
• Kronecker、Cartesian、strong積構造を明示的に組み込んだスケーラブルなグラフ学習フレームワークを構築すること。
• 提案された交互最小化アルゴリズムの局所的収束保証を確立すること。

提案手法

• 最先端の手法を上回る平均的性能を達成する線形計画法としてのグラフ学習問題の定式化。
• 積構造グラフの因子グラフを学習するための交互最小化アルゴリズムの提案。各モード間の分離性を活用する。
• テンソル表現を用いて、グラフラプラシアンを小さな因子ラプラシアンのクロネッカー積として表現する。
• 目的関数をモード別サブ問題に分解し、各因子グラフの閉形式更新式を導出する。
• 各因子別サブ問題の強い凸性を確立し、ブロック座標降下理論により線形収束レートを可能にする。
• トレースベース最適化と行列集中不等式を用いて推定誤差をバウンディングし、データサンプリングのばらつきに対するロバストネスを保証する。

実験結果

リサーチクエスチョン

• RQ1 グラフ学習を効果的に線形計画法として再定式化することで、性能とスケーラビリティを向上させることができるか？
• RQ2 Kronecker、Cartesian、strong積のような積グラフ構造を活用することで、グラフ学習におけるパラメータ数をどのように削減できるか？
• RQ3 積グラフの学習に適用した交互最小化アルゴリズムに対して、どのような収束保証を確立できるか？
• RQ4 積構造を組み込むことで、任意のグラフ学習と比較して、どの程度サンプル複雑性が低減されるか？
• RQ5 提案手法は、合成データおよび実世界のデータセットにおいて、再構成精度と推論性能の観点でどの程度の性能を示すか？

主な発見

• 提案されたグラフ学習の線形計画法定式化は、合成データにおいて最先端の手法を上回る平均的性能を達成する。
• 因子別サブ問題の強い凸性のおかげで、交互最小化アルゴリズムは線形収束レートで局所的臨界点に収束する。
• 全グラフを直接学習するのではなく、低次元の因子グラフを活用することで、サンプル複雑性を顕著に低減する。
• 数値シミュレーションにより、合成データおよび実世界のデータセットの両方で、推論能力と再構成精度が向上していることが示された。
• 行列集中不等式を用いて、高い確率で誤差バウンディングを確立し、データサンプリングのばらつきに対するロバストネスを検証した。
• 先行研究とは異なり、本手法はCartesian積グラフに限らず、Kroneckerおよびstrong積構造にも一般化可能である。