[論文レビュー] Adaptive Filters and Aggregator Fusion for Efficient Graph Convolutions.

Shyam A. Tailor, Felix L. Opolka+2 more|arXiv (Cornell University)|Apr 3, 2021

Advanced Graph Neural Networks参考文献 46被引用数 8

ひとこと要約

本論文は、適応フィルタとアグレゲーターフュージョンを用いた新しいGNNアーキテクチャを提案し、メモリ消費量をエッジ数ではなく頂点数に比例させるため、メモリ消費量と推論遅延を削減するとともに、最先端の精度を達成した。この手法により、信号処理にインspiredされたフィルタリングを介して各頂点ごとに学習可能な重み行列を実現し、標準のスパース行列乗算と比較してわずか19%の遅延増加で表現力が向上した。

ABSTRACT

Training and deploying graph neural networks (GNNs) remains difficult due to their high memory consumption and inference latency. In this work we present a new type of GNN architecture that achieves state-of-the-art performance with lower memory consumption and latency, along with characteristics suited to accelerator implementation. Our proposal uses memory proportional to the number of vertices in the graph, in contrast to competing methods which require memory proportional to the number of edges; we find our efficient approach actually achieves higher accuracy than competing approaches across 5 large and varied datasets against strong baselines. We achieve our results by using a novel adaptive filtering approach inspired by signal processing; it can be interpreted as enabling each vertex to have its own weight matrix, and is not related to attention. Following our focus on efficient hardware usage, we propose aggregator fusion, a technique to enable GNNs to significantly boost their representational power, with only a small increase in latency of 19% over standard sparse matrix multiplication. Code and pretrained models can be found at this URL: this https URL.

研究の動機と目的

• スケーラブルな展開を実現するため、グラフニューラルネットワーク（GNN）におけるメモリ消費量と推論遅延を低減すること。
• エッジ数ではなく頂点数に比例してスケーリングするGNNアーキテクチャを設計し、ハードウェア効率を向上させること。
• 計算コストを著しく増加させることなく表現力を向上させること。
• メモリと遅延最適化を通じて、効率的なアクセラレータ実装を可能にすること。
• より少ないメモリと遅延を要する一方で、強力なベースラインを上回る高い精度を達成すること。

提案手法

• 信号処理にインspiredされた適応フィルタリングを導入し、各頂点が個別に自身の重み行列を学習可能にする。
• アテンションメカニズムに依存しないで、頂点固有のフィルタリングを用いることで表現力を向上させる。
• 複数の集約関数を1つの計算に統合するアグレゲーターフュージョンを提案し、冗長な処理を削減する。
• 従来のエッジに比例するメモリ使用量とは異なり、本アーキテクチャは頂点数に比例するメモリ使用量を実現し、顕著なメモリ節約を可能にする。
• フュージョン技術により、標準のスパース行列乗算と比較してわずか19%の遅延増加で表現力が向上する。
• ハードウェアマッピングに適した設計となっており、アクセラレータフレンドリーな計算パターンをサポートする。

実験結果

リサーチクエスチョン

• RQ1 エッジ数ではなく頂点数に比例してメモリ使用量がスケーリングするGNNアーキテクチャを設計可能か？
• RQ2 適応フィルタリング機構は遅延を増加させることなくGNNの性能を向上させられるか？
• RQ3 アグレゲーターフュージョンは最小限の遅延オーバーヘッドで表現力の大幅な向上を実現できるか？
• RQ4 提案手法は、より少ないメモリと遅延を要する一方で、強力なベースラインを上回る精度を達成できるか？
• RQ5 実世界の展開を想定したハードウェアアクセラレータへの効率的なマッピングが可能か？

主な発見

• 提案されたGNNは、5つの大規模かつ多様なデータセットにおいて最先端の性能を達成し、強力なベースラインを上回る精度を示した。
• メモリ使用量は頂点数に線形に比例し、エッジに比例する手法と比較してメモリ消費量が著しく削減された。
• 最適化されたメモリアクセスと計算により、競合手法と比較して推論遅延が顕著に低減された。
• アグレゲーターフュージョンにより、標準のスパース行列乗算と比較してわずか19%の遅延増加でモデル容量が向上した。
• より少ないメモリと遅延要件を満たしながらも、既存の手法を上回る高い精度を示した。
• メモリ効率と規則的な計算パターンのため、アクセラレータへの展開に適している。