[論文レビュー] LookHops: light multi-order convolution and pooling for graph classification

Zhangyang Gao, Haitao Lin+1 more|arXiv (Cornell University)|Dec 28, 2020

Advanced Graph Neural Networks参考文献 22被引用数 4

ひとこと要約

本稿では、近隣情報利得を用いて最適な $k$-ホップ近傍を選択する仕組みを備えた、グラフ分類のための軽量で多次元のグラフ畳み込みおよびプーリングフレームワークである LookHops を提案する。効率的な $k$-次畳み込みと、ノードの重要度とエッジ構造を同時に学習する新しい $k$-次プーリングモジュールを組み合わせることで、パラメータ数を減らし、計算コストも低く抑えながら最先端の性能を達成する。

ABSTRACT

Convolution and pooling are the key operations to learn hierarchical representation for graph classification, where more expressive $k$-order($k>1$) method requires more computation cost, limiting the further applications. In this paper, we investigate the strategy of selecting $k$ via neighborhood information gain and propose light $k$-order convolution and pooling requiring fewer parameters while improving the performance. Comprehensive and fair experiments through six graph classification benchmarks show: 1) the performance improvement is consistent to the $k$-order information gain. 2) the proposed convolution requires fewer parameters while providing competitive results. 3) the proposed pooling outperforms SOTA algorithms in terms of efficiency and performance.

研究の動機と目的

• グラフ分類における表現力の高い $k$-次グラフ畳み込み（$k>1$）の高い計算コストを軽減すること。
• 表現力と効率のバランスを取るために、情報利得に基づいた最適な $k$-ホップ近傍選択の基準を確立すること。
• モデル複雑度を低減しつつも競争力のある性能を維持できる、パラメータ効率の良い $k$-次畳み込みモジュールを設計すること。
• ノードの重要度とエッジ構造を同時に学習する新しい $k$-次プーリング機構を提案し、最先端手法よりも精度と効率の両面で優れた性能を実現すること。

提案手法

• $k$-ホップ近傍の情報利得（kInfo）基準を導入し、$k$-次畳み込みにおける $k$ の選択をガイドすることで、効果的な受容field拡張を実現する。
• $k$-ホップ近傍に対する学習可能なアテンションを用いた軽量な $k$-次畳み込みを実装し、パラメータ数を削減しながらも多次元メッセージパッシングを維持する。
• 正規化特徴投影（NF）、ノードレベルプーリング（pN）、エッジレベル構造学習（pE）を統合した $k$-次プーリングモジュールを提案し、表現学習の向上を図る。
• LiCheb をベース畳み込みモジュールとし、$k$-ホップメッセージパッシング用の学習可能な重みを備えることで、高次元グラフ信号の効率的近似を可能にする。
• 正規化された特徴を統合し、プーリングにおけるノードスコア推定を改善する。単純な L2 ノルムの代わりに、幾何的に意味のある投影を採用する。
• エンドポイント特徴の差分に基づくエッジドロップを適用し、構造的に有用なエッジを保持することで、構造に配慮した圧縮による性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 表現力と計算コストのバランスを取るために、効果的に最適な $k$-ホップ近傍を選択する方法は何か？
• RQ2 軽量な $k$-次畳み込みモジュールは、従来手法と比較して顕著に少ないパラメータ数で競争力のある性能を達成できるか？
• RQ3 ノードの重要度とエッジ構造を同時に学習する $k$-次プーリング機構は、精度と効率の両面で従来の最先端手法を上回るか？
• RQ4 正規化された特徴とエッジレベル構造学習を組み込むことで、グラフプーリング層の性能はどの程度向上するか？
• RQ5 大規模グラフにおいて構造の劣化リスクがある中で、グラフプーリングはどのような条件下で依然として利点を発揮するか？

主な発見

• 提案された $k$-次畳み込みは、$k$-ホップ近傍の情報利得と相関する一貫した性能向上を示し、提案された選択基準の有効性を裏付けた。
• 軽量な $k$-次畳み込みモジュールはパラメータ数を削減しながらも、6つのベンチマークすべてで最先端手法と同等または上回る性能を達成した。
• 提案されたプーリング手法は、TopkPool、SAGPool、ASAP、EdgePool すべてを精度と推論速度の両面で上回り、D&D、NCI1、NCI109、Mutagenicity で最先端の結果を達成した。
• アブレーションスタディの結果、正規化特徴（NF）はほとんどのデータセットで性能を向上させ、より良いノード重要度スコアを提供したが、D&D および Mutagenicity を除いては同様の傾向を示した。
• エッジレベル構造学習（pE）により、差が大きいエッジを保持することで性能がさらに向上し、元のグラフエッジに冗長性があることが示された。
• 完全な LookHops モデル（NF + pN + pE）は、NCI1 で 78.2%、Mutagenicity で 80.3%、Far で 65.0% の精度を達成し、パラメータ数はわずか 116.7k、50エポックでの学習時間は 196.3 秒で、最先端手法と比べて顕著に高速であった。