[論文レビュー] Efficient Graph Neural Network Inference at Large Scale

Xinyi Gao, Wentao Zhang+4 more|arXiv (Cornell University)|Nov 1, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、トポロジカル構造に基づいて各ノードごとに伝搬順序を動的に適応させる、プラグアンドプレイなフレームワークであるノード適応型推論（NAI）を提案する。これにより、冗長な計算を削減し、大規模なグラフニューラルネットワーク（GNN）の推論を高速化する。マルチスケール特徴抽出のためのインセプション distillation を併用することで、ogbn-products データセットで最大 75× の高速化を達成しながら、さまざまな遅延制約下でも高い精度を維持する。

ABSTRACT

Graph neural networks (GNNs) have demonstrated excellent performance in a wide range of applications. However, the enormous size of large-scale graphs hinders their applications under real-time inference scenarios. Although existing scalable GNNs leverage linear propagation to preprocess the features and accelerate the training and inference procedure, these methods still suffer from scalability issues when making inferences on unseen nodes, as the feature preprocessing requires the graph is known and fixed. To speed up the inference in the inductive setting, we propose a novel adaptive propagation order approach that generates the personalized propagation order for each node based on its topological information. This could successfully avoid the redundant computation of feature propagation. Moreover, the trade-off between accuracy and inference latency can be flexibly controlled by simple hyper-parameters to match different latency constraints of application scenarios. To compensate for the potential inference accuracy loss, we further propose Inception Distillation to exploit the multi scale reception information and improve the inference performance. Extensive experiments are conducted on four public datasets with different scales and characteristics, and the experimental results show that our proposed inference acceleration framework outperforms the SOTA graph inference acceleration baselines in terms of both accuracy and efficiency. In particular, the advantage of our proposed method is more significant on larger-scale datasets, and our framework achieves $75 imes$ inference speedup on the largest Ogbn-products dataset.

研究の動機と目的

• レコメンデーションシステムや不正検知などのリアルタイムで遅延に敏感な応用における、グラフニューラルネットワーク（GNN）推論のスケーラビリティ課題に対処すること。
• 従来の線形伝搬 GNN が事前に計算された固定グラフに依存しており、推論時に未学習ノードを効率的に処理できないという制限を克服すること。
• ノードのトポロジカルコンテキストに基づいて最適な伝搬深さを動的に決定することで、特徴伝搬における冗長計算を削減すること。
• 調整可能なハイパーパramータを用いて、推論遅延と精度の間の柔軟なトレードオフを可能にすること。
• 伝搬の早期終了による精度低下を補填するための新しいマルチスケール知識 distillation 技術を提案すること。

提案手法

• ノードの特徴スムージングの定常状態からの距離に基づいて、各ノードごとにパーソナライズされた伝搬順序を計算する、プラグアンドプレイな手法であるノード適応型推論（NAI）を提案する。
• 各ノードの特徴伝搬をいつ停止するかを決定するための単純なグローバルハイパーパramータを用い、推論速度と精度のトレードオフを制御する。
• 複数の伝搬深さからの特徴を活用することで、学生モデルの受容 field を拡大するマルチスケール知識 distillation モジュール「インセプション distillation」を導入する。
• 複数の教師モデル（例：f^(1), f^(2), f^(3)）からのソフトラベルを用いたオンライン distillation を適用し、モデル全体の再訓練なしに学生モデルの性能を向上させる。
• パラメータを必要とせずグラフに依存しない特徴伝搬メカニズムを設計することで、複数のエグジットの共同学習を回避し、学習の安定性を向上させる。
• ノード次数や近隣構造などのトポロジカル情報を活用して早期終了を誘導し、CV/NLP で一般的に見られる繰り返し予測を回避する。

実験結果

リサーチクエスチョン

• RQ1 ノード固有の伝搬深さを適応的に設定することで、モデル精度を損なわず、GNN 推論における冗長計算を削減できるか？
• RQ2 トポロジカル構造に基づく動的伝搬順序は、固定順序伝搬と比較して、推論効率と精度の両面で優れているか？
• RQ3 マルチスケール知識 distillation は、特徴伝搬の早期終了によって生じる性能低下をどの程度緩和できるか？
• RQ4 提案手法は、大規模で現実世界のグラフにおいて、さまざまな遅延制約下でも顕著な高速化を達成できるか？
• RQ5 異なるスケールやトポロジカル特性を示す多様なグラフデータセットに対して、このフレームワークはどれほど一般化可能か？

主な発見

• NAI は ogbn-products データセットで最大 75× の推論速度向上を達成し、評価された最大スケールのグラフにおいてその有効性を示している。
• 本手法は全データセットで高い分類精度を維持しており、特にソフトラベルと 3 つの教師モデルのアンサンブルを用いることで、精度の低下が最小限に抑えられている。
• インセプション distillation により、さまざまなハイパーパramータ設定下でも性能が安定し、ラベルのソフトニングに λ ∈ [0.5, 1] を用いた場合に最適な結果が得られている。
• 精度と効率の両面で最先端のベースラインより優れた性能を示しており、特に大規模グラフではその優位性が顕著に現れている。
• 適応的伝搬メカニズムにより、特に過剰スムージングにかかりやすい高次数ノードにおいて、不要な伝搬ステップを回避することで冗長計算を削減している。
• 本手法は柔軟かつ実世界のインダクティブな設定で展開可能であり、固定グラフ構造を必要とせず、未学習ノードに対しても効率的なオンライン推論を可能としている。