[論文レビュー] Graph Signal Processing -- Part III: Machine Learning on Graphs, from Graph Topology to Applications

Ljubiša Stanković, Danilo P. Mandic+5 more|arXiv (Cornell University)|Jan 2, 2020

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本論文は、相関、精度行列、スパarsityおよび滑らかさなどの構造的制約を統合することで、データからグラフトポロジーを学習する統一フレームワークを提案する。グラフィカルLASSOとラプラシアン学習を用いてトポロジー推定を実施し、物理系および機械学習（GNN/GCN）に適用。ファイナンス分野（ポートフォリオカット）およびメトロネットワーク解析への応用を示し、標準的手法に比べてより高いロバスト性と性能を実現した。

ABSTRACT

Many modern data analytics applications on graphs operate on domains where graph topology is not known a priori, and hence its determination becomes part of the problem definition, rather than serving as prior knowledge which aids the problem solution. Part III of this monograph starts by addressing ways to learn graph topology, from the case where the physics of the problem already suggest a possible topology, through to most general cases where the graph topology is learned from the data. A particular emphasis is on graph topology definition based on the correlation and precision matrices of the observed data, combined with additional prior knowledge and structural conditions, such as the smoothness or sparsity of graph connections. For learning sparse graphs (with small number of edges), the least absolute shrinkage and selection operator, known as LASSO is employed, along with its graph specific variant, graphical LASSO. For completeness, both variants of LASSO are derived in an intuitive way, and explained. An in-depth elaboration of the graph topology learning paradigm is provided through several examples on physically well defined graphs, such as electric circuits, linear heat transfer, social and computer networks, and spring-mass systems. As many graph neural networks (GNN) and convolutional graph networks (GCN) are emerging, we have also reviewed the main trends in GNNs and GCNs, from the perspective of graph signal filtering. Tensor representation of lattice-structured graphs is next considered, and it is shown that tensors (multidimensional data arrays) are a special class of graph signals, whereby the graph vertices reside on a high-dimensional regular lattice structure. This part of monograph concludes with two emerging applications in financial data processing and underground transportation networks modeling.

研究の動機と目的

• 事前にトポロジーが分かっていない状況、特に現代のデータ解析においてトポロジーがソリューションの一部である場合に、グラフトポロジーをデータから学習する課題に対処すること。
• 信号の類似性、共分散／精度行列、およびスパarsityや滑らかさなどの構造的事前知識を用いた、グラフ構造を体系的に推定するアプローチの開発。
• グラフニューラルネットワーク（GNN）やグラフ畳み込みネットワーク（GCN）を、拡散プロセスとして定式化することで、機械学習モデルとグラフトポロジー学習を統合すること。
• ファイナンス分野におけるポートフォリオ最適化と地下鉄輸送ネットワークのモデリングへの実用的応用を示し、ロバスト性と性能の向上を実証すること。
• 格子構造を持つグラフをテンソル表現で定式化し、多次元データおよび内在的関係をモデル化するためのマルチリニア代数的手法を可能にすること。

提案手法

• 観測データの相関および精度行列を、グラフトポロジー学習の主な指標として用い、事前知識および構造的条件を統合する。
• スパarsityを学習されたグラフ接続に強制するためにLASSOおよびそのグラフ特化版であるグラフィカルLASSOを採用し、直感的な導出を提供する。
• グラフラプラシアンに滑らかさおよびエネルギーに基づく制約を適用し、物理的に妥当で安定したトポロジーを保証する。
• GNNおよびGCNをグラフ上での拡散プロセスとしてモデル化し、アーキテクチャの改善をグラフ信号拡散の観点から解釈する。
• 高次元の格子構造グラフに対してテンソル表現を用い、多次元グラフ信号のテンソル分解およびマルチリニア解析を可能にする。
• グラフ分割に基づくポートフォリオカットを導入し、資産間の依存関係をモデル化し、特異な共分散行列を逆行列にしなくても、ロバストで低分散の投資戦略を構築可能にする。

実験結果

リサーチクエスチョン

• RQ1 物理的制約が欠如している状況において、事前に分かっていないトポロジーをデータからどのように学習できるか。
• RQ2 相関および精度行列はグラフ構造学習において果たす役割は何か。また、スパarsityおよび滑らかさをどのように強制できるか。
• RQ3 グラフニューラルネットワーク（GNN）およびグラフ畳み込みネットワーク（GCN）の設計を、グラフ信号拡散の観点からどのように再解釈できるか。
• RQ4 テンソル表現は、多次元グラフ構造データのモデリングをどのように向上させられるか。
• RQ5 グラフトポロジー学習は、ファイナンス分野におけるポートフォリオ構築およびメトロネットワークの脆弱性分析をどのように改善できるか。

主な発見

• グラフィカルLASSOおよびLASSOベースのトポロジー学習は、高次元データからスパースで意味のあるグラフ接続を識別する上で顕著な向上を示した。
• 提案されたグラフ資産配分手法は、従来の均等配分および最小分散ポートフォリオに比べ、出外サンプル分散が低く、シャープレシオが高かった。
• ロンドン地下鉄ネットワークの事例では、グラフ理論的中心性指標が、全体のサービス水準に最も深刻な影響を与える駅を的確に同定した。
• グラフ分割に基づくポートフォリオカットは、誤った依存関係を低減し、データが限られている場合や共分散行列が特異な場合でも、ロバストな資産配分を可能にした。
• GCNおよびGNNの拡散プロセスとしての解釈は、将来のアーキテクチャ設計の原理的基盤を提供し、ヒューリスティックな改善を超えるものとなった。
• 格子構造グラフのテンソルベースモデリングは、従来の不均衡な隣接行列に比べ、多次元データの内在的関係をより効果的に発見可能であった。