[論文レビュー] L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks

Yuning You, Tianlong Chen+2 more|arXiv (Cornell University)|Mar 30, 2020

Advanced Graph Neural Networks参考文献 27被引用数 8

ひとこと要約

本稿では、特徴量集約と変換を分離することで、訓練時間とメモリ使用量を大幅に削減する、階層別学習フレームワークであるL-GCNを提案する。さらに、各層の訓練エポックを自動的に最適化する学習済みRNNコントローラーを用いるL²-GCNを導入し、最先端の高速化を達成（最大10倍速）しながら、競争力のある性能を維持し、データセットサイズに依存しない一貫したメモリ使用量を実現する。

ABSTRACT

Graph convolution networks (GCN) are increasingly popular in many applications, yet remain notoriously hard to train over large graph datasets. They need to compute node representations recursively from their neighbors. Current GCN training algorithms suffer from either high computational costs that grow exponentially with the number of layers, or high memory usage for loading the entire graph and node embeddings. In this paper, we propose a novel efficient layer-wise training framework for GCN (L-GCN), that disentangles feature aggregation and feature transformation during training, hence greatly reducing time and memory complexities. We present theoretical analysis for L-GCN under the graph isomorphism framework, that L-GCN leads to as powerful GCNs as the more costly conventional training algorithm does, under mild conditions. We further propose L$^2$-GCN, which learns a controller for each layer that can automatically adjust the training epochs per layer in L-GCN. Experiments show that L-GCN is faster than state-of-the-arts by at least an order of magnitude, with a consistent of memory usage not dependent on dataset size, while maintaining comparable prediction performance. With the learned controller, L$^2$-GCN can further cut the training time in half. Our codes are available at https://github.com/Shen-Lab/L2-GCN.

研究の動機と目的

• 大規模グラフ上での深層GCNの訓練にかかる計算コストとメモリコストを低減すること。
• 層間の再帰的近隣集約に起因するミニバッチGCN訓練における指数的増加する複雑性を克服すること。
• 時間的・メモリ的複雑性を顕著に低減しながらも、表現力の維持を図る訓練フレームワークの開発。
• 各層の訓練エポックに関する手動のハイパーパramータチューニングを排除し、最適な設定を自動で学習すること。
• 学習済みコントローラーを用いた階層別訓練が、従来の訓練と同等またはほぼ同等の性能を達成しつつ、訓練時間を大幅に短縮できることを実証すること。

提案手法

• GCN訓練における特徴量集約（FA）と特徴量変換（FT）を分離し、エンドツーエンドのバックプロパゲーションから階層別処理へ移行する。
• 各GCN層を独立してミニバッチ更新で訓練し、現在の層の埋め込みのみを保存することで、データセットサイズに依存しないO(BD)のメモリ複雑度を実現する。
• グラフ同型性フレームワークに基づく理論的分析を適用し、L-GCNが弱い条件下でも表現力の維持を保証することを示す。
• RNNコントローラーを用いて、サンプルされた部分グラフの性能を観測することで、各層の最適な訓練エポックを学習するL²-GCNを導入する。
• ランダムにサンプルされた部分グラフ上でRNNコントローラーを訓練し、各層の訓練をいつ停止すべきかを予測することで、手動のエポック設定を置き換える。
• 各層を収束するまで訓練した後、次の層に移行するグリーディかつ反復的な訓練戦略を採用し、余分な計算を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 GCNの階層別訓練戦略は、従来のエンドツーエンド訓練と同等の表現力を維持できるか？
• RQ2 特徴量集約と変換の分離によって、GCN訓練における時間的・メモリ的複雑度はどの程度低減できるか？
• RQ3 学習済みコントローラーを用いて、手動のハイパーパramータチューニングなしに最適な各層の訓練エポックを自動で決定できるか？
• RQ4 L-GCNおよびL²-GCNの性能は、精度、訓練時間、メモリ使用量の観点で最先端の手法と比べてどうか？
• RQ5 提案された階層別アプローチで訓練されたより深いネットワークアーキテクチャは、性能向上に寄与するか？

主な発見

• L-GCNは、訓練時間の複雑度をO(L||Â||₀/NBAT D + BD²)、メモリ複雑度をO(BD)に低減し、データセットサイズに依存しない。従来手法およびミニバッチGCNを凌駆する。
• Redditでは、L-GCNはGraphSAGE（93.4%）およびFastGCN（92.6%）よりも10倍速く、94.2%のF1スコアを達成し、GPUメモリ使用量は一貫している。
• L²-GCNは、最適なエポック設定を学習することで、L-GCNと比較して訓練時間を約50%短縮し、わずかな性能低下（例：RedditではL-GCNの94.2%対L²-GCNの94.0%）にとどめる。
• L-GCNで訓練されたより深いネットワーク（最大4層）は性能向上を示す：PPIでは4層L-GCNで97.7%のF1スコアを達成、2層モデルの93.7%から向上。
• L²-GCNのRNNコントローラーは、効率的なエポック設定を学習する——例：Coraでは75+75、Redditでは30+60——手動チューニングの設定と同等の性能を、より少ないエポック数で達成する。
• N-GCNに対しても階層別訓練を適用すると、Coraでは訓練時間を62秒から4秒に短縮し、83.1%のF1スコアを維持する。これは、標準GCNに限らない広範な適用可能性を示している。