[論文レビュー] Learning Laplacian Matrix in Smooth Graph Signal Representations

Xiaowen Dong, Dorina Thanou+2 more|arXiv (Cornell University)|Jun 30, 2014

Advanced Graph Neural Networks参考文献 53被引用数 38

ひとこと要約

本稿では、潜在変数にガウス事前分布を導入した要因分析フレームワークを用いて、観測されたグラフ信号の滑らかさを強制するグラフラプラシアンを学習する手法を提案する。このアプローチは、学習されたグラフ上での信号変動を最小化することで、合成データおよび気象観測所やスイスの referenda 投票パターンを含む実世界データから意味のあるトポロジーを効果的に同定する。クラスタリング精度において他の手法を上回り、解釈可能な政治的および地理的関係を捉えることが確認された。

ABSTRACT

The construction of a meaningful graph plays a crucial role in the success of many graph-based representations and algorithms for handling structured data, especially in the emerging field of graph signal processing. However, a meaningful graph is not always readily available from the data, nor easy to define depending on the application domain. In particular, it is often desirable in graph signal processing applications that a graph is chosen such that the data admit certain regularity or smoothness on the graph. In this paper, we address the problem of learning graph Laplacians, which is equivalent to learning graph topologies, such that the input data form graph signals with smooth variations on the resulting topology. To this end, we adopt a factor analysis model for the graph signals and impose a Gaussian probabilistic prior on the latent variables that control these signals. We show that the Gaussian prior leads to an efficient representation that favors the smoothness property of the graph signals. We then propose an algorithm for learning graphs that enforces such property and is based on minimizing the variations of the signals on the learned graph. Experiments on both synthetic and real world data demonstrate that the proposed graph learning framework can efficiently infer meaningful graph topologies from signal observations under the smoothness prior.

研究の動機と目的

• 事前に意味のあるグラフが存在しない状況において、特にグラフ信号処理の応用において、グラフトポロジーを学習する課題に取り組むこと。
• 気温やソーシャルネットワーク行動など、実世界のデータに共通する性質として、観測されたデータ信号が推定されたグラフ上で滑らかであることを保証すること。
• 潜在信号構造の統計的モデリングを通じて、滑らかさを強制する一貫性のあるフレームワークを構築すること。
• 真の関係性が与えられていない状況でも、信号観測からグラフ構造をデータ駆動で同定する方法を提供すること。

提案手法

• 観測信号が潜在変数を介して線形変換によって生成される、一般化された要因分析フレームワークを用いてグラフ信号をモデル化する。
• 得られるグラフ信号の滑らかさを促進するために、潜在変数に平均ゼロのガウス事前分布を課す。
• グラフ学習問題を、グラフ上の信号の全変動を最小化する問題として定式化し、ラプラシアン行列に関する凸最適化問題に帰着させる。
• ラプラシアン行列を正則化項として目的関数に組み込み、滑らかさを強制する。その際、ラプラシアンは対称的で、半正定値であり、各行の和がゼロであるという制約を課す。
• ガウス事前分布の構造を活用して効率的な計算を可能にするため、交互最適化またはプロキシマルアルゴリズムを用いて最適化問題を解く。
• 地面のラベルが存在しない場合でも、学習されたグラフに対してスペクトルクラスタリングを適用し、トポロジーの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ノイズを含む信号観測から、その信号が得られたグラフ上で滑らかになるようなグラフラプラシアンを学習できるか？
• RQ2 潜在変数に統計的事前分布を導入することで、グラフ信号表現における滑らかさをどのように強制できるか？
• RQ3 提案手法は、真のグラフ構造の回復および信号クラスタリングにおいて、既存のグラフ学習手法を上回る性能を示すか？
• RQ4 学習されたグラフトポロジーは、政治的または地理的依存関係といった、実世界データにおける解釈可能な関係を捉えることができるか？

主な発見

• GL-SigRepは、気象観測所の真のクラスタを回復する際、NMI 0.5813、純度 0.7321、ランダムインデックス 0.8039 の結果を達成し、GL-LogDet を上回った。
• 本手法は、スイスのreferendaデータから政治的グラフを効果的に同定し、カントンの言語的および政治的帰属と整合するクラスタを明らかにした。
• 学習されたグラフトポロジーは、フランス語圏のカントンをまとめてグループ化し、ウリーやシュヴィーツのような保守的カントンを分離した。これは、既知の政治的行動と一致した。
• 「大量移民反対」referendum では、赤色クラスタに 58.2% 以上の支持を示したカントンが含まれており、以前の分割と一貫性を示した。これにより、本手法のロバストネスが裏付けられた。
• 本フレームワークは合成データおよび実世界データの両方で優れた性能を示し、滑らかさの事前分布が解釈可能で正確なグラフトポロジーを導くことを実証した。
• 要因分析モデルにおけるガウス事前分布の使用により、効率的な最適化と効果的な滑らかさの強制が可能となり、GL-LogDet などの代替手法を凌駕した。