[論文レビュー] Rethinking Kernel Methods for Node Representation Learning on Graphs

Yu Tian, L. Zhao+2 more|arXiv (Cornell University)|Oct 6, 2019

Advanced Graph Neural Networks被引用数 11

ひとこと要約

本稿は、ノード分類のための新しいカーネルベースのフレームワークを提案する。このフレームワークは、学習可能な特徴マッピングと固定されたベースカーネルにカーネル関数を分解することで、有効で強力なカーネル関数を学習し、効率的で再帰的でないノード表現学習を可能にする。この手法は、標準的なノード分類ベンチマークで最先端の性能を達成しており、任意の正定値カーネルを表現可能であることが理論的に証明されている。

ABSTRACT

Graph kernels are kernel methods measuring graph similarity and serve as a standard tool for graph classification. However, the use of kernel methods for node classification, which is a related problem to graph representation learning, is still ill-posed and the state-of-the-art methods are heavily based on heuristics. Here, we present a novel theoretical kernel-based framework for node classification that can bridge the gap between these two representation learning problems on graphs. Our approach is motivated by graph kernel methodology but extended to learn the node representations capturing the structural information in a graph. We theoretically show that our formulation is as powerful as any positive semidefinite kernels. To efficiently learn the kernel, we propose a novel mechanism for node feature aggregation and a data-driven similarity metric employed during the training phase. More importantly, our framework is flexible and complementary to other graph-based deep learning models, e.g., Graph Convolutional Networks (GCNs). We empirically evaluate our approach on a number of standard node classification benchmarks, and demonstrate that our model sets the new state of the art.

研究の動機と目的

• 現在の手法（例：GCN）がヒューリスティックに依存していることから、原理的かつ理論的根拠に基づいたノード表現学習手法の欠如に対処する。
• グラフ分類に用いられるグラフカーネル手法とノード分類の間のギャップを埋めるために、カーネル学習をノードレベルに拡張する。
• 任意の有効なカーネルを表現できるほど表現力があり、かつ正定値である（有効である）学習可能なカーネル定式化を開発する。
• カーネルスムージングの観点から導出された、1ステップで集約可能な効率的な特徴集約メカニズムを設計し、GCNにおける再帰的近傍特徴集約を改善する。
• GCNなどの既存の深層グラフモデルと互換性があり、補完的であることを保証し、より広範なGNNフレームワークへの統合を可能にする。

提案手法

• カーネル関数を学習可能な特徴マッピング $ g_{\theta} $ と固定されたベースカーネル $ k_{\text{base}} $ に分解し、得られるカーネルが正定値であることを保証する。
• ノード三つ組に対する対照的損失を用いて、$ g_{\theta} $ をノードラベル上で学習するためのデータ駆動型類似度指標と学習基準を定式化する。
• カーネルスムージングの観点から、近傍特徴の1ステップ集約メカニズムを新たに導出する。
• 構造的および特徴ベースの類似度を捉えるために、学習可能なカーネル $ K_{\theta}(v_i, v_j) = k_{\text{base}}(g_{\theta}(v_i), g_{\theta}(v_j)) $ を使用する。
• 対照的目的関数を用いてモデルを学習する：$ \mathcal{L}_{K} = \sum_{(v_i,v_j) \in \mathcal{D}} \ell(K_{\theta}(v_i,v_j), s_G(v_i,v_j)) $、ここで $ s_G $ は真のエッジラベルである。
• GCN や GAT などの既存モデルと統合し、フレームワークの柔軟性と性能向上を示す。

実験結果

リサーチクエスチョン

• RQ1 ノード分類のためのカーネルベースのフレームワークは、理論的に有効でかつ表現力があるように設計可能だろうか？
• RQ2 カーネル手法は、グラフの構造的情報を保持したまま、ノード表現を学習するためにどのように適応可能だろうか？
• RQ3 任意の正定値カーネルと同等の力を有する学習可能なカーネル関数を構築可能だろうか？
• RQ4 GCNにおける再帰的近傍集約と比較して、カーネルベースの1ステップ集約メカニズムは、効率性と性能の面でどのように異なるだろうか？
• RQ5 このカーネルフレームワークは、GCN や GAT などの既存の深層グラフモデルとどれほど統合可能で、それらを改善可能だろうか？

主な発見

• 提案されたカーネルフレームワークは、標準的なノード分類ベンチマーク（Cora, Citeseer, Pubmed）で最先端の性能を達成し、既存のGCNベースのモデルを上回っている。
• リンク予測においても強力な一般化性能を示し、CoraではAUCが93.1%、APが93.2%を達成しており、GAE や VGAE などのSOTAモデルと同等の性能を発揮している。
• t-SNE可視化では、GCN や GAT と比較して、学習されたノード埋め込みがより密にクラスタリングされ、特に明確に分離されたクラスにおいて優れた分離性を示している。
• 理論的分析により、フレームワークが任意の正定値カーネルを表現可能であることが確認され、その表現力が最大であることが保証されている。
• 1ステップの特徴集約メカニズムは、再帰的GCNスタイルの集約よりも効率的であり、性能を維持または向上させている。
• フレームワークはGCN やその変種と柔軟かつ補完的であり、将来的なGNN研究における汎用コンponentとしての統合が可能である。