[論文レビュー] Semi-Supervised Learning on Graphs with Feature-Augmented Graph Basis Functions

Wolfgang Erb|arXiv (Cornell University)|Mar 17, 2020

Advanced Graph Neural Networks参考文献 34被引用数 4

ひとこと要約

本稿では、特徴拡張グラフベース関数（GBFs）を用いた半教師付き学習フレームワークを提案し、シュール・ハダマード積の更新を通じて幾何的構造と追加の特徴情報統合により分類精度を向上させる。標準GBFカーネルに非教師付きクラスタリングやノード属性からの事前知識を組み込むことで、特にウイスコンシン乳癌やイオンオスコープの実世界データセットにおいて、ラベル付きノードが少ない状況でも優れた性能を達成する。

ABSTRACT

For semi-supervised learning on graphs, we study how initial kernels in a supervised learning regime can be augmented with additional information from known priors or from unsupervised learning outputs. These augmented kernels are constructed in a simple update scheme based on the Schur-Hadamard product of the kernel with additional feature kernels. As generators of the positive definite kernels we will focus on graph basis functions (GBF) that allow to include geometric information of the graph via the graph Fourier transform. Using a regularized least squares (RLS) approach for machine learning, we will test the derived augmented kernels for the classification of data on graphs.

研究の動機と目的

• 幾何的構造と外部事前知識をカーネル関数に統合することで、グラフ上の半教師付き学習を向上させること。
• グラフベース関数と特徴情報の組み合わせを可能にするシュール・ハダマード積を用いた、シンプルで効率的なカーネル拡張戦略を開発すること。
• 特徴拡張GBFカーネルが、特にラベル付きデータが限られた状況で、標準の教師ありGBF-RLSを上回ることを示すこと。
• スペクトルクラスタリングから得られる非教師付き事前知識を用いて、合成および実世界のグラフデータセット上で本手法の有効性を検証すること。

提案手法

• グラフフーリエ変換を用いて正定値のグラフベース関数（GBFs）を構築し、幾何的構造を符号化する。
• スペクトルクラスタリングなどの手法から得られる補助的特徴マップやグラフから特徴カーネルを生成する。
• グラフと特徴グラフのカルテジアン積上にテンソル積カーネルを構築する。
• 製品グラフへの埋め込みを通じて特徴拡張カーネルを抽出し、元のGBFカーネルと特徴行列のシュール・ハダマード積として表現する。
• 再現核ヒルバート空間における滑らかさを強制するために、拡張カーネルを用いて正則化最小二乗法（RLS）で分類タスクを解く。
• 類似度グラフに正規化グラフラプラシアンを適用し、シーマル・マリックのスペクトルクラスタリングを用いて二値特徴グラフを事前知識として生成する。

実験結果

リサーチクエスチョン

• RQ1 幾何的構造と特徴ベースの事前知識をカーネル拡張を通じて統合することで、カーネルベースのグラフ上の半教師付き学習が向上するか。
• RQ2 GBFカーネルと特徴カーネルのシュール・ハダマード積は、ラベル付きデータが限られた状況での分類精度にどのように影響するか。
• RQ3 非教師付きクラスタリングの出力（例：スペクトルクラスタリング）は、半教師付きグラフ学習において効果的な事前知識として機能するか。
• RQ4 特徴拡張は、高い分類精度を達成するために必要なラベル付きノード数を削減するか。

主な発見

• イオンオスコープデータセットでは、特徴拡張GBF-RLSが60個のラベル付きノードで90.05％の精度を達成し、教師ありGBF-RLS（87.18％）と非教師付きスペクトル分類器（71.79％）を上回った。
• ウイスコンシン乳癌データセットでは、半教師付きの$\boldsymbol{\rho}$-GBF-RLSが64個のラベル付きノードで96.05％の精度を達成し、非教師付きスペクトル分類器と同等の性能を示した。一方、教師ありGBF-RLSは完全ラベリングで96.43％の精度にとどまった。
• わずか2個のラベル付きノードでの場合、特徴拡張手法はWBCで91.68％の精度を達成したのに対し、教師ありGBF-RLSは72.73％にとどまり、優れたデータ効率性を示した。
• 2つのムーン（two-moon）の合成データセットでは、特徴拡張カーネルにより、同等の精度に到達するためのラベル付きノード数を最大50％まで削減できた。
• 本手法は大規模グラフでも高い性能を維持しており、特徴事前知識のノイズに対してもスケーラビリティとロバストネスを示した。