[論文レビュー] Graph Convolutional Networks using Heat Kernel for Semi-supervised Learning

Bingbing Xu, Huawei Shen+3 more|arXiv (Cornell University)|Jul 27, 2020

Advanced Graph Neural Networks参考文献 18被引用数 7

ひとこと要約

本稿では、グラフ信号の滑らかさを強調し、低周波数フィルタを強化することで、熱核を用いたグラフ畳み込みネットワークであるGraphHeatを提案する。熱拡散を用いて隣接ノードを動的に特定することで、固定された近隣順序に依存せずに局所構造を柔軟に捉える。Cora、Citeseer、PubMedの半教師ありノード分類タスクにおいて最先端の性能を達成し、固定された近隣順序に依存しない柔軟な局所構造の捉え方を実現する。

ABSTRACT

Graph convolutional networks gain remarkable success in semi-supervised learning on graph structured data. The key to graph-based semisupervised learning is capturing the smoothness of labels or features over nodes exerted by graph structure. Previous methods, spectral methods and spatial methods, devote to defining graph convolution as a weighted average over neighboring nodes, and then learn graph convolution kernels to leverage the smoothness to improve the performance of graph-based semi-supervised learning. One open challenge is how to determine appropriate neighborhood that reflects relevant information of smoothness manifested in graph structure. In this paper, we propose GraphHeat, leveraging heat kernel to enhance low-frequency filters and enforce smoothness in the signal variation on the graph. GraphHeat leverages the local structure of target node under heat diffusion to determine its neighboring nodes flexibly, without the constraint of order suffered by previous methods. GraphHeat achieves state-of-the-art results in the task of graph-based semi-supervised classification across three benchmark datasets: Cora, Citeseer and Pubmed.

研究の動機と目的

• 半教師あり学習における構造的滑らかさを反映する適切な近隣領域を定義する課題に対処すること。
• 空間的手法における固定順序の近隣定義の限界と、スペクトル的手法における高い計算コストを克服すること。
• 熱核を用いて低周波成分を強調し、高周波ノイズを抑制することで、ラベルの滑らかさを向上させること。
• 局所トポロジーに適応する動的で構造に配慮した近隣選択メカニズムを、熱拡散に基づいて開発すること。

提案手法

• 低周波数固有ベクトルに高い重みを割り当てるために、熱核 $ e^{-s\mathcal{L}} $ を活用し、グラフ上での滑らかな信号変動を強調する。
• 熱拡散を用いて、ターゲットノードの近隣ノードを特定し、固定順序の近隣制約を動的で構造に配慮した選択に置き換える。
• 正規化されたラプラシアン行列に熱核を適用することで、高周波ノイズをフィルタリングする学習可能な畳み込み演算を定義する。
• 熱核が内蔵する低域通過フィルタ特性を活かして、ラベルの滑らかさに焦点を当てることで、半教師あり学習のためのモデルを簡素化する。
• 熱核の遷移確率を用いてノード間の類似度を計算し、柔軟で適応可能な近隣範囲を実現する。
• 熱拡散の広がりを制御するスケーリングパラメータ $ s $ を導入し、局所的影響と拡張された近隣影響の間でトレードオフを可能にする。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みは、グラフ構造データにおけるラベルおよび特徴の滑らかさをよりよく捉えるために、どのように設計できるか？
• RQ2 熱拡散は、空間的グラフ畳み込みにおける固定順序の近隣選択の代替として、より柔軟で構造に配慮した選択を可能にするか？
• RQ3 熱核をフィルタとして用いることで、既存のGCN変種と比較して、半教師ありノード分類における一般化性能がどの程度向上するか？
• RQ4 熱拡散による動的近隣選択は、トポロジーが異なる多様なグラフデータセットにおいて、性能にどのように影響を与えるか？
• RQ5 スケーリングパラメータ $ s $ は、モデルの局所的詳細とグローバルな滑らかさのバランスを取る能力にどのような影響を与えるか？

主な発見

• GraphHeatは、Cora、Citeseer、PubMedの各データセットにおいて、半教師ありノード分類で最先端の性能を達成した。
• モデルは、3つのベンチマークデータセットすべてにおいて、GCNや他のベースラインを一貫して上回り、優れた一般化性能を示した。
• 熱拡散パラメータ $ s $ を増加させることで、より関連する情報を捉えることができ、一時的に精度が向上するが、過剰な値は無関係なノードを含めるため性能が低下する。
• 本手法はノードごとに近隣範囲を動的に調整し、一部のノードでは2階近隣ノード、さらには関連性がある場合に遠く離れたノードまで含めることが可能であることが、事例研究で示された。
• 熱拡散の使用により、特定の状況では2階近隣ノードに1階近隣ノードよりも高い重みが与えられることがあり、例えば $[e^{-sL}]_{a,c} > [e^{-sL}]_{a,b}$ のように、適応的な近隣選択が実現している。
• アブレーションスタディにより、熱核の低域通過フィルタ特性が高周波ノイズを効果的に抑制し、予測のロバスト性と滑らかさを向上させていることが確認された。