[論文レビュー] Supervised Linear Regression for Graph Learning from Graph Signals

Arun Venkitaraman, Hermina Petric Maretić+2 more|arXiv (Cornell University)|Nov 5, 2018

Advanced Graph Neural Networks参考文献 15被引用数 4

ひとこと要約

本論文は、グラフ信号からグラフ構造を学習するための教師あり線形回帰フレームワークを提案する。エッジ重みは、グラフ・ラプラシアンに基づく正則化を伴う凸最適化を用いて、ノード信号値の関数として予測される。この手法は、ノイズや外れ値で汚染されたデータにおいて、学習された回帰係数による信号の適応的重み付けを可能にすることで、非教師ありグラフ学習を上回る性能を発揮する。

ABSTRACT

We propose a supervised learning approach for predicting an underlying graph from a set of graph signals. Our approach is based on linear regression. In the linear regression model, we predict edge-weights of a graph as the output, given a set of signal values on nodes of the graph as the input. We solve for the optimal regression coefficients using a relevant optimization problem that is convex and uses a graph-Laplacian based regularization. The regularization helps to promote a specific graph spectral profile of the graph signals. Simulation experiments demonstrate that our approach predicts well even in presence of outliers in input data.

研究の動機と目的

• グラフ信号からのグラフ構造推定における教師あり学習アプローチの不足を解消すること。
• ラベル付きトレーニングデータ（信号とそれに対応するグラフ）を活用して、元のグラフ構造を予測する手法を開発すること。
• 回帰による入力信号の差別的重み付けを可能にすることで、ノイズが多い、または滑らかでない信号に対するグラフ学習のロバスト性を向上させること。
• 学習されたグラフ信号のスペクトル特性を促進する凸最適化問題を定式化すること。
• 限られたデータや高い外れ値比率といった困難な条件下でも、非教師ありグラフ学習手法を上回る優れた性能を示すこと。

提案手法

• 回帰フレームワークを用いて、隣接行列のエッジ重みを入力グラフ信号値の線形関数としてモデル化する。
• トレーニングデータにおける予測誤差を最小化する回帰係数を学習するための凸最適化問題を定式化する。
• ラプラシアン行列の2次多項式として表現される、グラフ・ラプラシアンに基づく正則化項を組み込むことで、予測信号のスペクトルプロファイルを制御する。
• 正則化を用いてグラフ信号の滑らかさを促進し、グラフ構造に関する事前知識を暗黙的に組み込む。
• 最終的なグラフにおけるスパarsityと連結性を確保するため、推定された隣接行列にしきい値処理を適用する。
• 交差検証を用いてハイパーパrameter（αおよびβ）を最適化し、正則化とデータ適合性のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータにノイズや滑らかでない信号が含まれる場合、教師あり学習アプローチがグラフ構造推定を改善できるか。
• RQ2 提案された回帰モデルは、従来の非教師ありグラフ学習と比較して、入力グラフ信号の外れ値をどのように処理するか。
• RQ3 学習された回帰係数が、入力信号のスペクトル特性をどの程度反映しているか。
• RQ4 信号対ノイズ比や限られたトレーニングデータサイズの変動に対しても、この手法は一貫した性能を維持できるか。
• RQ5 グラフ・ラプラシアンに基づく正則化が、予測グラフの品質とスペクトル特性にどのように影響を与えるか。

主な発見

• 25%の入力信号が外れ値である場合、提案手法は非教師ありグラフ学習（Kalofoliasら）よりも顕著に低い正規化平均二乗誤差（NMSE）を達成し、特に小さなトレーニングセットサイズにおいて顕著である。
• 10%の外れ値がある場合、M（信号数）が小さい場合にはベースラインを上回る性能を示し、Mが増加するにつれてベースラインに収束する。
• 回帰係数は滑らかな信号と高周波数の外れ値を明確に区別しており、効果的な信号固有の重み付けが行われていることが示唆される。
• 予測グラフのFスコアはMが増加するにつれて上昇し、提案手法とベースラインとの間で同等の水準を維持するため、構造的品質が一貫していることが示された。
• 異なるグラフタイプ（例：Erdős–Rényi）においても安定した性能を維持するため、この手法は根本的なネットワークトポロジーに対してロバストであることが示された。
• グラフ・ラプラシアンへの多項式正則化の使用により、学習されたグラフ信号のスペクトルプロファイルを効果的に制御できることが分かった。