[論文レビュー] Graph Signal Processing -- Part I: Graphs, Graph Spectra, and Spectral Clustering

Ljubiša Stanković, Danilo P. Mandic+4 more|arXiv (Cornell University)|Jul 8, 2019

Advanced Graph Neural Networks被引用数 11

ひとこと要約

本稿は、線形代数を用いたグラフトポロジーの形式的定式化により、グラフ信号処理の基盤的枠組みを提示する。これにより、グラフラプラシアンおよび隣接行列の固有値分解を介したスペクトル解析が可能となり、ラプラシアン固有写像によるスペクトルクラスタリングおよび次元削減が確立される。頂点の再順序付けにおいてもグラフ構造と信号特性が保持されることを示し、主要な結果としてフィードラー固有ベクトルが正規化カットに基づくクラスタリングおよび埋め込み写像に有用であることが示された。

ABSTRACT

The area of Data Analytics on graphs promises a paradigm shift as we approach information processing of classes of data, which are typically acquired on irregular but structured domains (social networks, various ad-hoc sensor networks). Yet, despite its long history, current approaches mostly focus on the optimization of graphs themselves, rather than on directly inferring learning strategies, such as detection, estimation, statistical and probabilistic inference, clustering and separation from signals and data acquired on graphs. To fill this void, we first revisit graph topologies from a Data Analytics point of view, and establish a taxonomy of graph networks through a linear algebraic formalism of graph topology (vertices, connections, directivity). This serves as a basis for spectral analysis of graphs, whereby the eigenvalues and eigenvectors of graph Laplacian and adjacency matrices are shown to convey physical meaning related to both graph topology and higher-order graph properties, such as cuts, walks, paths, and neighborhoods. Next, to illustrate estimation strategies performed on graph signals, spectral analysis of graphs is introduced through eigenanalysis of mathematical descriptors of graphs and in a generic way. Finally, a framework for vertex clustering and graph segmentation is established based on graph spectral representation (eigenanalysis) which illustrates the power of graphs in various data association tasks. The supporting examples demonstrate the promise of Graph Data Analytics in modeling structural and functional/semantic inferences. At the same time, Part I serves as a basis for Part II and Part III which deal with theory, methods and applications of processing Data on Graphs and Graph Topology Learning from data.

研究の動機と目的

• 不規則で構造的なドメインにおけるデータ分析を支援するため、グラフトポロジーを統一的な線形代数的形式で定式化すること。
• グラフレイプラシアンおよび隣接行列の固有値と固有ベクトルが、カット、ウォーク、近傍性などのグラフ構造に関連する物理的意味を有することを示すこと。
• グラフレイプラシアン固有値解析に基づくスペクトルクラスタリングおよび次元削減技術を開発し、頑健なデータ関連付けおよびセグメンテーションを可能にすること。
• 頂点の再順序付けにおいてもグラフ信号処理が構造的記述子を保持することを示し、古典的手法の限界を克服すること。
• 第IIおよび第III部の理論的基盤を築くこと。特に、グラフ上での信号処理およびデータからのトポロジー学習に焦点を当てる。

提案手法

• グラフレイプラシアンおよび隣接行列の固有値分解を用いて、グラフトポロジーのスペクトル記述子を抽出する。
• 主な固有ベクトル（特にフィードラー固有ベクトル）の効率的計算のため、パワー法を適用する。この際、正規化されたラプラシアンを用いる。
• ラプラシアンの2番目に小さい固有値に対応するフィードラー固有ベクトルを用いたスペクトルクラスタリングを実装し、正規化カット基準に基づいて頂点をクラスタに分割する。
• ラプラシアン固有写像を用いて頂点の次元削減を実現し、局所構造を保持する低次元スペクトル空間に頂点をマッピングする。
• 2つの埋め込み写像を導入する：ラプラシアンの擬似逆行列に基づく「遷移時間埋め込み」と、正規化されたラプラシアンの累乗を用いた「拡散マッピング」。
• スペクトルベクトルの正規化（例：L2、バイナリ、マージナル）を用い、クラスタリングおよび可視化の忠実度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 不規則なドメインにおけるデータ分析を支援するため、グラフトポロジーを線形代数を用いて形式的に記述する方法は何か？
• RQ2 グラフレイプラシアンおよび隣接行列の固有値と固有ベクトルに、どのような物理的および構造的情報が符号化されているか？
• RQ3 グラフレイプラシアン固有値分解から、どのようにしてスペクトルクラスタリングを体系的に導出できるか？これにより、頑健な頂点分割が可能になるか？
• RQ4 スペクトル埋め込みは、頂点の再順序付けや変換に対して、どのようにしてグラフ構造および信号特性を保持するか？
• RQ5 グラフ信号処理は、どのようにしてグラフ構造データ上での次元削減、推定、クラスタリングを直接サポートできるか？

主な発見

• グラフレイプラシアンの2番目に小さい固有値に対応するフィードラー固有ベクトルは、正規化カット基準に基づき、頂点を2つのクラスタに最適に分割する。
• フィードラー固有ベクトルに基づくスペクトルクラスタリングは、頂点の順序付けが変更されても、古典的手法に比べて高い品質のセグメンテーションを達成する。
• ラプラシアン固有写像は、グラフ内の局所的近傍関係を保持するため、グラフ構造データの有効な次元削減および可視化を可能にする。
• ラプラシアンの擬似逆行列および行列の累乗に基づく遷移時間および拡散マッピングは、グラフ距離の意味的な幾何的解釈を提供する。
• スペクトルベクトルの正規化（例：L2、バイナリ、マージナル）は、クラスタリング性能および可視化の明瞭さを顕著に向上させる。
• 本フレームワークにより、異なる頂点順序付けに対しても一貫性があり、同型なグラフ記述子の表現が可能となり、データ分析パイプラインにおける頑健性が保証される。