[論文レビュー] On Filter Size in Graph Convolutional Networks

Tran Van Dinh, Nicolò Navarin+1 more|arXiv (Cornell University)|Nov 23, 2018

Advanced Graph Neural Networks参考文献 19被引用数 9

ひとこと要約

本論文は、受容 field のサイズ（近隣距離 r）を学習可能なハイパーパrameterとして導入する一般化されたグラフ畳み込みフィルタを提案する。これにより、直近の隣接ノードを超えたより豊かな局所的グラフ構造を捉えることが可能になる。実験の結果、DGCNN や最先端のグラフカーネルと比較して、複数のベンチマークデータセットで予測性能が著しく向上し、1–3%の一貫した向上が得られ、PROTEINS では最大17%の向上が達成された。

ABSTRACT

Recently, many researchers have been focusing on the definition of neural networks for graphs. The basic component for many of these approaches remains the graph convolution idea proposed almost a decade ago. In this paper, we extend this basic component, following an intuition derived from the well-known convolutional filters over multi-dimensional tensors. In particular, we derive a simple, efficient and effective way to introduce a hyper-parameter on graph convolutions that influences the filter size, i.e. its receptive field over the considered graph. We show with experimental results on real-world graph datasets that the proposed graph convolutional filter improves the predictive performance of Deep Graph Convolutional Networks.

研究の動機と目的

• 従来のグラフ畳み込みネットワークが通常直近の隣接ノード（r=1）のみを考慮するため、固定で浅い受容 field の制限を克服すること。
• 特徴量集約のための近隣距離を制御するチューナブルなハイパーパラメータ r を導入することで、標準的なグラフ畳み込み演算子を一般化すること。
• より情報豊かな局所的グラフ構造を捉えることで、グラフ分類タスクにおける予測性能を向上させること。
• 柔軟な受容 field サイズが、多様な実世界のグラフデータセットにわたる一般化性と頑健性を向上させることを示すこと。

提案手法

• 直近の隣接ノードを越えて、最短経路距離 r 以内のノードを含む受容 field を許容する一般化されたパラメトリックなグラフ畳み込みフィルタを提案する。
• 各ノードの周囲 r 内のすべてのノードからの特徴量を集約し、学習可能な集約関数を用いて隠れ表現を計算する。
• r=1 が元の DGCNN に一致する一般化された DGCNN アーキテクチャとして形式的に定式化される。r>1 の場合、より豊かな局所的構造を捉えることが可能になる。
• 初期実験では固定 r=2 を使用しているが、最適性能を得るための範囲で r をチューニング可能である。
• 1D畳み込みと ReLU/LeakyReLU 活性化関数を含む DGCNN と同様の全体的設計を維持するが、固定近隣集約をパラメトリックな r に基づくフィルタに置き換える。
• 任意の GCN ベースモデルと互換性があり、受容 field が増加するように複数層をスタックする応用が可能である。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みにおける受容 field サイズ（r）を変化させると、グラフ分類タスクにおけるモデル性能にどのような影響を与えるか？
• RQ2 チューナブルな r パrameter を持つ一般化されたグラフ畳み込みは、直近の隣接ノードのみを考慮する標準的な GCN より優れた性能を発揮できるか？
• RQ3 提案されたパラメトリックフィルタは、最先端のグラフカーネルやディープラーニングベースラインと比較して、一般化性と予測精度を向上させられるか？
• RQ4 r の影響は、多様な実世界のデータセットにおける意味のある局所的グラフ構造の捉え方の能力にどのように現れるか？
• RQ5 r のチューニングと層数の増加により、提案手法はより深いアーキテクチャに効果的にスケーリングできるか？

主な発見

• 提案された PGC-DGCNN 法は、8つのグラフ分類ベンチマークのうち6つで DGCNN を上回り、1%～2%の一貫した向上が得られた。
• MUTAG および PROTEINS データセットでは、最高性能を示したグラフカーネル（RWカーネル）と比較して、それぞれ8%および17%の相対的向上を達成した。
• NCI1 データセットでは、DGCNN や PGC-DGCNN が DCNN よりわずかに低い性能を示したが、後者はベースラインのディープラーニングモデルと比較して14–21%の顕著な向上を達成した。
• PGC-DGCNN と DGCNN 間の性能差は、r=2 でより豊かな局所的構造を捉える能力に起因すると考えられる。
• 現在の評価では固定 r=2 を使用しているが、r を範囲内でチューニングすることで性能をさらに向上させられると示唆されている。
• 著者らは、提案されたフィルタが DGCNN を一般化し、GCN における受容 field サイズを制御する柔軟で効果的な方法を提供すると結論づけている。