[論文レビュー] Random walk kernels and learning curves for Gaussian process regression on random graphs

Matthew Urry, Peter Sollich|arXiv (Cornell University)|Nov 6, 2012

Gaussian Processes and Bayesian Inference被引用数 7

ひとこと要約

本稿では、ランダムウォークカーネルを用いた大規模で局所的に木構造的なランダムグラフ上のガウス過程回帰を検討し、カーネルのグローバル正規化が頂点間で顕著に異なる事前分散を引き起こすことが示された—これは確率的モデリングを損なう。著者らは、均一な事前分散を保証するためのローカル正規化を提案し、信念伝播に基づく手法を用いて学習曲線を正確に予測する。その結果、正規化の不一致により、局所的寄与がグラフ境界から生じ、非単調な学習曲線と最大値が現れることを明らかにした。

ABSTRACT

We consider learning on graphs, guided by kernels that encode similarity between vertices. Our focus is on random walk kernels, the analogues of squared exponential kernels in Euclidean spaces. We show that on large, locally treelike, graphs these have some counter-intuitive properties, specifically in the limit of large kernel lengthscales. We consider using these kernels as covariance matrices of e.g.\\ Gaussian processes (GPs). In this situation one typically scales the prior globally to normalise the average of the prior variance across vertices. We demonstrate that, in contrast to the Euclidean case, this generically leads to significant variation in the prior variance across vertices, which is undesirable from the probabilistic modelling point of view. We suggest the random walk kernel should be normalised locally, so that each vertex has the same prior variance, and analyse the consequences of this by studying learning curves for Gaussian process regression. Numerical calculations as well as novel theoretical predictions for the learning curves using belief propagation make it clear that one obtains distinctly different probabilistic models depending on the choice of normalisation. Our method for predicting the learning curves using belief propagation is significantly more accurate than previous approximations and should become exact in the limit of large random graphs.

研究の動機と目的

• 大規模で局所的に木構造的なランダムグラフ上のガウス過程回帰におけるランダムウォークカーネルの挙動を分析すること。
• グローバル正規化の限界を特定し、均一なスケーリングにもかかわらず頂点間で顕著な事前分散のばらつきを引き起こす点を明らかにすること。
• 各頂点の事前分散を均一に保つために、ランダムウォークカーネルのローカル正規化を提案・分析すること。
• グラフ上のガウス過程回帰における学習曲線の正確な予測のための信念伝播に基づく手法を開発すること。
• 教師モデルと生徒モデル間の正規化の不一致が学習曲線の挙動に与える影響を調査すること。

提案手法

• 頂点間の類似性を制御するカーネル長尺度を用いて、ガウス過程回帰における共分散関数としてランダムウォークカーネルを用いる。
• 各頂点が同一の事前分散を持つようにカーネルをローカル正規化する手法を提案し、平均分散による標準的なグローバル正規化と対照にする。
• 信念伝播を用いて学習曲線の正確な予測を導出し、固有値に基づく近似の限界を越える。
• キャビティ法と信念伝播を用いて学習曲線の解析的表現を導出し、数値シミュレーションによる検証を実施する。
• グローバル正規化とローカル正規化のカーネルを比較することで、正規化の不一致をモデル化し、その結果としての予測挙動を分析する。
• 擬似トレーニング出力と有効予測ベクトルを用いて、不一致設定における学習曲線最大値の発生源を解釈する。

実験結果

リサーチクエスチョン

• RQ1 ランダムウォークカーネルのグローバル正規化は、ランダムグラフ上のガウス過程回帰における事前分散分布にどのように影響するか？
• RQ2 なぜグローバル正規化は、局所的に木構造的なグラフにおいて、頂点間で望ましくない事前分散のばらつきを引き起こすのか？
• RQ3 ランダムウォークカーネルをローカル正規化することで、ガウス過程回帰の学習曲線にどのような影響が生じるか？
• RQ4 教師モデルがグローバル正規化、生徒モデルがローカル正規化のカーネルを用いる場合、正規化の不一致が学習曲線の形状と一般化誤差に与える影響は何か？
• RQ5 離散的かつグラフ構造をもつ入力空間において、固有値に基づく近似よりも信念伝播が学習曲線の予測をより正確に行えるか？

主な発見

• グローバル正規化されたランダムウォークカーネルは、大規模で局所的に木構造的なグラフにおいて、期待とは異なり顕著に非一様な事前分散を頂点間で生じさせる。
• カーネルのローカル正規化により、すべての頂点で均一な事前分散が保証され、グラフ上のガウス過程回帰におけるより一貫性のある確率的モデルが実現される。
• 信念伝播に基づく学習曲線予測は、特に中間領域において、固有値に基づく近似よりも顕著に高い精度を示す。
• 教師モデルがグローバル正規化、生徒モデルがローカル正規化のカーネルを用いる不一致設定では、学習曲線が非単調になり、最大値を示すようになる。
• 学習曲線の最大値は、グラフのぶら下がりエッジや境界領域における予測ベクトルの局所的寄与に起因する。
• 数値シミュレーションにより、信念伝播法が学習曲線の挙動を正確に捉え、従来の近似手法よりも良好な一致を示すことが確認された。