[論文レビュー] Graph Neural Networks with distributed ARMA filters

Filippo Maria Bianchi, Daniele Grattarola+2 more|arXiv (Cornell University)|Jan 5, 2019

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、分散型ARMAフィルタに基づく新しいグラフ畳み込み層を提案し、多項式フィルタと比較してより柔軟な周波数応答とノイズ耐性の向上を実現する。この手法により、効率的で局所的かつ転移可能なGNNが実現され、半教師ありノード分類、グラフ信号分類、グラフ分類、グラフ回帰の各タスクにおいて、多項式ベースのモデルを上回る性能を発揮する。

ABSTRACT

Popular graph neural networks implement convolution operations on graphs based on polynomial spectral filters. In this paper, we propose a novel graph convolutional layer inspired by the auto-regressive moving average (ARMA) filter that, compared to polynomial ones, provides a more flexible frequency response, is more robust to noise, and better captures the global graph structure. We propose a graph neural network implementation of the ARMA filter with a recursive and distributed formulation, obtaining a convolutional layer that is efficient to train, localized in the node space, and can be transferred to new graphs at test time. We perform a spectral analysis to study the filtering effect of the proposed ARMA layer and report experiments on four downstream tasks: semi-supervised node classification, graph signal classification, graph classification, and graph regression. Results show that the proposed ARMA layer brings significant improvements over graph neural networks based on polynomial filters.

研究の動機と目的

• グラフニューラルネットワークにおける多項式スペクトルフィルタの限界、すなわち周波数応答の不柔軟性とノイズ耐性の低さを解消すること。
• ノード空間における局所性を保ちながら、より良いグローバルグラフ構造の捉え込みを実現するグラフ畳み込み層の開発。
• 推論時における新しいグラフへの効率的な学習と転移性の実現。
• 提案されたARMAベースの層のフィルタリング動作のスペクトル解析の提供。

提案手法

• グラフ畳み込みに適した再帰的かつ分散型のARMAフィルタの定式化を提案し、ノード間での局所的計算を可能にする。
• スペクトルドメインで動作するARMAフィルタに基づくグラフニューラルネットワーク層を設計し、周波数応答の柔軟性を向上させる。
• 計算効率を維持するとともに、未観測のグラフへの転移学習を可能にする分散型実装を導入。
• ARMA層がグラフ信号に与えるフィルタリング効果を特徴付けるためにスペクトル解析を採用。
• ARMAダイナミクスを模倣する再帰的更新メカニズムを用いて、反復的メッセージパッシングによりノード表現を計算。
• 反復的手法を用いて線形システムを解く形でグラフ畳み込みを定式化し、スケーラビリティと局所性を確保。

実験結果

リサーチクエスチョン

• RQ1 ARMAベースのグラフ畳み込みは、周波数応答の柔軟性とノイズ耐性において、多項式フィルタと比べてどのように異なるか？
• RQ2 ARMAベースの層は、ノード空間で局所的である一方で、グローバルグラフ構造を効果的に捉えられるか？
• RQ3 分散型ARMA定式化は、新しいグラフへの効率的な学習と転移性をどの程度実現できるか？
• RQ4 提案手法は、ノード分類やグラフ回帰などの多様な下流タスクにおいて、どのように性能を発揮するか？

主な発見

• ARMAベースのグラフ畳み込み層は、半教師ありノード分類において、多項式フィルタベースのGNNと比較して顕著な性能向上を達成する。
• ARMAフィルタのより柔軟な周波数応答のおかげで、ノイズに対してより高い耐性を示す。
• 分散型かつ再帰的定式化により、効率的な学習が可能になり、ノード空間における局所性が維持される。
• テスト時において新しいグラフへも良好に一般化され、転移学習の能力を有する。
• スペクトル解析により、ARMA層が多項式フィルタと比較してより制御的かつ適応的なフィルタリング応答を提供することが確認された。
• 4つの下流タスクにおける実験結果から、すべてのベンチマークで一貫した性能向上が得られ、本手法の有効性が裏付けられた。