[論文レビュー] Kernel Regression for Signals over Graphs.

Arun Venkitaraman, Saikat Chatterjee+1 more|arXiv (Cornell University)|Jun 7, 2017

Advanced Graph Neural Networks参考文献 60被引用数 5

ひとこと要約

本稿では、グラフ上の信号のためのカーネル回帰を提案し、滑らかさを強制してノイズ低減を達成するため、グラフラプラシアン正則化を活用する。従来の回帰と比較して、特に小さなまたはノイズの多い訓練データにおいて優れた性能を示し、限られたサンプルからでも潜在的なグラフ構造を明らかにする。

ABSTRACT

We propose kernel regression for signals over graphs. The optimal regression coefficients are learnt using the assumption that the target vector is a smooth signal over an underlying graph. The condition is imposed using a graph-Laplacian based regularization. We discuss how the proposed kernel regression exhibits a smoothing effect, simultaneously achieving noise-reduction and graph-smoothness. We further extend the kernel regression to simultaneously learn the underlying graph and the regression coefficients. We validate our theory by application to various synthesized and real-world graph signals. Our experiments show that kernel regression over graphs outperforms conventional regression, particularly for small sized training data and under noisy training. We also observe that kernel regression reveals the structure of the underlying graph even with a small number of training samples.

研究の動機と目的

• 潜在的なグラフ上で信号をモデル化する回帰フレームワークを開発すること。この際、グラフラプラシアン正則化を用いて滑らかさを強制する。
• グラフ信号回帰におけるノイズの多いまたは限られた訓練データの課題に対処すること。
• データから、同時に潜在的なグラフ構造と回帰係数を学習すること。
• 合成および実世界のグラフ信号を用いて、本手法の妥当性と構造回復能力を検証すること。

提案手法

• ターゲット信号が潜在的なグラフ上で滑らかになるように保証するため、グラフラプラシアンに基づく正則化を用いたカーネル回帰を定式化する。
• データ適合性とグラフ滑らかさの項を組み合わせた損失関数を最小化することで、回帰係数を最適化する。
• グラフ構造と回帰係数を反復的に推定する、共同学習フレームワークを導入する。
• 非線形関係を扱えるように、信号を再生核ヒルバート空間にマップするカーネル表現を採用する。
• 周波数が高くなる変動をペナルティ化するため、グラフラプラシアンを事前分布として用いることで滑らかさを促進する。
• 適合性と滑らかさのバランスを取るために、正則化された最小化問題を解くための最適化手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 小さなまたはノイズの多い訓練セットにおいて、グラフ上のカーネル回帰は、信号構造を保持しながら効果的にノイズを低減できるか？
• RQ2 限られた訓練サンプルから、潜在的なグラフトポロジーをどの程度回復できるか？
• RQ3 グラフラプラシアン正則化を組み込むことで、標準的手法と比較して回帰性能が向上するか？
• RQ4 グラフ構造と回帰係数の共同学習が、モデルの一般化能力をどの程度向上させるか？

主な発見

• カーネル回帰は、訓練データが小さくても、ノイズが多くても、従来の回帰手法を著しく上回る性能を示す。
• グラフ滑らかさ制約のおかげで、ノイズ低減が効果的に行われ、信号の忠実度が維持される。
• 少数の訓練サンプルでも、アルゴリズムは真の潜在的グラフ構造を的確に特定する。
• グラフと回帰係数の共同学習により、データの特性に適応したグラフが得られ、性能が向上する。
• 合成および実世界の信号を用いた実験により、本手法のロバストネスと一般化能力が確認された。
• カーネル回帰の滑らかさ効果は、分散の低減と予測精度の向上を通じて、経験的に妥当性が裏付けられた。