[論文レビュー] pathGCN: Learning General Graph Spatial Operators from Paths

Moshe Eliasof, Eldad Haber+1 more|arXiv (Cornell University)|Jul 15, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、固定されたグラフラプラシアンに依存せず、ランダムパスから表現力のあるグラフ空間演算子を学習する新しい手法pathGCNを提案する。パスベースの集約を用いて空間カーネルをエンドツーエンドで学習することにより、pathGCNは過剰に平滑化を回避し、より深い、より柔軟なGCNを実現し、ノード分類ベンチマークで最先端の性能を達成する。

ABSTRACT

Graph Convolutional Networks (GCNs), similarly to Convolutional Neural Networks (CNNs), are typically based on two main operations - spatial and point-wise convolutions. In the context of GCNs, differently from CNNs, a pre-determined spatial operator based on the graph Laplacian is often chosen, allowing only the point-wise operations to be learnt. However, learning a meaningful spatial operator is critical for developing more expressive GCNs for improved performance. In this paper we propose pathGCN, a novel approach to learn the spatial operator from random paths on the graph. We analyze the convergence of our method and its difference from existing GCNs. Furthermore, we discuss several options of combining our learnt spatial operator with point-wise convolutions. Our extensive experiments on numerous datasets suggest that by properly learning both the spatial and point-wise convolutions, phenomena like over-smoothing can be inherently avoided, and new state-of-the-art performance is achieved.

研究の動機と目的

• 固定された空間演算子によるGCNの限界を解決する。固定された空間演算子はモデルの表現力を制限し、深層アーキテクチャで過剰な平滑化を引き起こす。
• 標準的なGCNがグラフラプラシアンに依存するのを克服し、データから直接空間演算子を学習する。
• 可変なアパーチャーと適応的な係数を持つ空間カーネルを学習することで、GCNにCNNに類似した柔軟性を実現する。
• 固定ラプラシアンではなく、動的空間演算子を学習することで、深層GCNにおける過剰な平滑化を防止する。
• 空間畳み込みとポイントワイド畳み込みを同時に学習することで、多様なグラフベンチマークにおける性能を向上させる。

提案手法

• グラフ上のランダムウォーク（パス）に基づいて空間演算子を定義し、各パスが隣接ノードの特徴を集約する。
• 確率的最適化を用いて空間演算子の係数をエンドツーエンドで学習し、ネットワークがカーネルをデータとタスクに適応できるようにする。
• pathGCNを3つのバリアントで定式化する：グローバル（層・チャネル間で共有）、パラレイヤー（チャネル間で共有）、ディープワイズ（チャネル・レイヤーごとに別々）。CNN風の学習を模倣する。
• バックプロパゲーション中にパスを確率的にサンプリングするための確率的パス学習方針を用い、空間演算の効率的かつ微分可能な学習を可能にする。
• 学習された空間演算子を学習可能な1×1ポイントワイド畳み込みと統合し、完全なGCNブロックを構築する。
• 隣接行列の対称正規化と自己ループを適用して、学習の安定化と一般化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 ランダムパスからの空間演算子の学習は、固定ラプラシアンに基づく演算子と比較して、GCNの表現力と性能を向上させるか？
• RQ2 パスベースの空間カーネル学習は、繰り返しラプラシアンを適用することで生じる傾向のある深層GCNにおける過剰な平滑化を防げるか？
• RQ3 グローバル、パラレイヤー、ディープワイズの異なるpathGCNの定式化は、モデルの性能と一般化にどのように影響するか？
• RQ4 パス長とサンプリングパス数の増加が、最終的な精度と学習された空間演算子の頑健性に与える影響は何か？
• RQ5 学習された空間カーネルは、CNNのフィルタと同様に、平滑化、エッジ検出、シャープニングといった多様な関数を学習できるか？

主な発見

• pathGCNはCora、Citeseer、Pubmedの各データセットで最先端の精度を達成し、64層の構成でCoraで85.8%の精度を記録し、先行手法を上回る。
• ディープワイズバージョン（pathGCN）は、グローバルおよびパラレイヤーバージョンを常に上回り、チャネルごとの空間学習が表現力を高めることを示している。
• 過剰な平滑化は、学習された非一様な空間演算子のおかげで、深層アーキテクチャ（最大64層）においても本質的に回避される。
• パス長がk=7まで増加すると性能が向上し、以降は精度が停滞または低下するため、特徴集約に最適なカーネルサイズがあることが示された。
• パス数を20以上に増やすと性能が劣化し、過剰な確率的要因が一般化性能を損なう可能性があることが示され、最適な性能はp=10で達成された。
• 学習された空間カーネルは、平滑化やエッジ検出といった多様な挙動を示し、pathGCNがタスク固有で適応可能な空間演算を学習できることを実証した。