[論文レビュー] Graph Kernels

S. V. N. Vishwanathan, Karsten Borgwardt+2 more|arXiv (Cornell University)|Jul 1, 2008

Advanced Graph Neural Networks参考文献 40被引用数 75

ひとこと要約

本稿では、再帰的核ヒルバート空間（RKHS）の拡張とシルベスター方程式の低減を用いて、O(n⁶)からO(n³)に計算時間を短縮する統一的なグラフカーネルフレームワークを提案する。この手法により、共役勾配ソルバーを用いてスパースグラフ上で準立方時間性能を達成でき、実際の応用において1000倍以上の高速化を実現するとともに、グラフカーネルを拡散および正則化モデルと結びつける。

ABSTRACT

We present a unified framework to study graph kernels, special cases of which include the random walk graph kernel \citep{GaeFlaWro03,BorOngSchVisetal05}, marginalized graph kernel \citep{KasTsuIno03,KasTsuIno04,MahUedAkuPeretal04}, and geometric kernel on graphs \citep{Gaertner02}. Through extensions of linear algebra to Reproducing Kernel Hilbert Spaces (RKHS) and reduction to a Sylvester equation, we construct an algorithm that improves the time complexity of kernel computation from $O(n^6)$ to $O(n^3)$. When the graphs are sparse, conjugate gradient solvers or fixed-point iterations bring our algorithm into the sub-cubic domain. Experiments on graphs from bioinformatics and other application domains show that it is often more than a thousand times faster than previous approaches. We then explore connections between diffusion kernels \citep{KonLaf02}, regularization on graphs \citep{SmoKon03}, and graph kernels, and use these connections to propose new graph kernels. Finally, we show that rational kernels \citep{CorHafMoh02,CorHafMoh03,CorHafMoh04} when specialized to graphs reduce to the random walk graph kernel.

研究の動機と目的

• ランダムウォーク、マージナライズド、幾何的カーネルなどの既存のグラフカーネル手法を、一つの理論的枠組みに統合すること。
• 再帰的核ヒルバート空間（RKHS）における線形代数の拡張を用いて、グラフカーネル計算の計算複雑度をO(n⁶)からO(n³)に低減すること。
• 共役勾配法や固定点反復法といった反復的ソルバーを用いて、スパースグラフ上で準立方時間性能を達成すること。
• グラフカーネル、拡散カーネル、グラフ上の正則化の間の理論的関係を確立し、新たなカーネル設計のインスピレーションを提供すること。
• 有理カーネルをグラフに特化した場合、それがランダムウォークグラフカーネルに簡約されることを示すこと。

提案手法

• 再帰的核ヒルバート空間（RKHS）への線形代数の拡張を活用し、関数解析的枠組みでグラフカーネル計算を形式化すること。
• カーネル計算問題をシルベスター方程式の解法に還元することで、効率的な行列ベース計算を可能にすること。
• スパースグラフにおいては、共役勾配ソルバーや固定点反復法を適用し、準立方時間複雑度を達成すること。
• シルベスター方程式の構造を活用して、直接計算のO(n⁶)コストを回避する閉形式解を導出すること。
• 共通する数学的定式化を通じて、グラフカーネル、拡散カーネル、グラフ上の正則化の間の理論的リンクを確立すること。
• 有理カーネルをグラフに特化し、提案された枠組み下でそれがランダムウォークグラフカーネルに簡約されることを示すこと。

実験結果

リサーチクエスチョン

• RQ1 ランダムウォーク、マージナライズド、幾何的カーネルを含む主なグラフカーネルタイプを統合する統一的枠組みを開発可能か？
• RQ2 RKHSにおけるグラフカーネル計算をシルベスター方程式として表現することの理論的・計算的利点は何か？
• RQ3 共役勾配法などの反復的ソルバーは、スパースグラフにおけるグラフカーネル計算の時間複雑度をどのように低減できるか？
• RQ4 グラフカーネル、拡散カーネル、グラフ上の正則化の間にはどのような関係があり、新たなカーネル設計にどのように寄与できるか？
• RQ5 有理カーネルをグラフに特化した場合、それがランダムウォークグラフカーネルに簡約されるか、その条件は何か？

主な発見

• 提案された枠組みにより、グラフカーネル計算の時間複雑度がO(n⁶)からO(n³)に低減され、より大きなグラフへのスケーラブルな応用が可能になった。
• スパースグラフでは、共役勾配ソルバーや固定点反復法により、実効的な時間複雑度が準立方領域にまで低下し、性能が顕著に向上した。
• バイオインフォマティクスおよび他のデータセットにおける実験的評価では、従来手法と比較して1000倍以上の高速化が達成された。
• 理論的分析により、有理カーネルをグラフに適用した場合、正確にランダムウォークグラフカーネルに簡約されることが明らかになった。
• グラフカーネル、拡散カーネル、グラフ上の正則化の間の関係が形式化され、新たな原理的グラフカーネル族の設計が可能になった。
• 本フレームワークは、多様なアプローチを一つの数学的基盤に統合する包括的かつ効率的なグラフカーネル計算エンジンを提供する。