[論文レビュー] Sampling methods for efficient training of graph convolutional networks: A survey

Xin Liu, Mingyu Yan+4 more|arXiv (Cornell University)|Mar 10, 2021

Advanced Graph Neural Networks参考文献 98被引用数 13

ひとこと要約

本サーベイは、効率的なグラフ畳み込みネットワーク（GCN）のトレーニングのためのサンプリング手法について包括的な分類を提供し、ノード単位、レイヤー単位、部分グラフベース、異種サンプリングの4つに分類する。それぞれのメカニズムを分析し、強みと限界を比較し、スケーラブルでハードウェアに優しい、深層GCNトレーニングのための主な課題と今後の研究方向性を特定する。

ABSTRACT

Graph Convolutional Networks (GCNs) have received significant attention from various research fields due to the excellent performance in learning graph representations. Although GCN performs well compared with other methods, it still faces challenges. Training a GCN model for large-scale graphs in a conventional way requires high computation and storage costs. Therefore, motivated by an urgent need in terms of efficiency and scalability in training GCN, sampling methods have been proposed and achieved a significant effect. In this paper, we categorize sampling methods based on the sampling mechanisms and provide a comprehensive survey of sampling methods for efficient training of GCN. To highlight the characteristics and differences of sampling methods, we present a detailed comparison within each category and further give an overall comparative analysis for the sampling methods in all categories. Finally, we discuss some challenges and future research directions of the sampling methods.

研究の動機と目的

• 大規模グラフにおけるフルバッチ手法を用いたGCNトレーニングの高い計算コストとストレージコストを低減すること。
• サンプリングメカニズムに基づいて、既存のサンプリング手法を体系的に分類・分析すること。
• 異なるサンプリング戦略における効率性、スケーラビリティ、パフォーマンスの間のトレードオフを浮き彫りにすること。
• ハードウェアに配慮した設計や異種グラフを含めた、サンプリングにおける未解決の課題を特定し、今後の研究方向性を提案すること。
• 体系的なメソドロジカルな知見を通じて、スケーラブルで効率的かつ深層的なGCNトレーニングの開発を支援すること。

提案手法

• サンプリングメカニズムに基づき、サンプリング手法を4種類に分類する：ノード単位、レイヤー単位、部分グラフベース、異種サンプリング。
• 各カテゴリについて、サンプリング戦略、集約メカニズム、計算効率を検討して分析する。
• インダクティブバイアス、スケーラビリティ、特徴の保持といった基準を用いて、各カテゴリ内での手法を比較する。
• すべてのカテゴリにわたる包括的な比較を提供し、相対的な利点と限界を明確にする。
• GPU、FPGA、異種アクセラレータなどのプラットフォーム固有の特性を活用して、ハードウェアフレンドリーなサンプリングを提案する。
• ノード型やエッジ型のバランスを保ちつつ、複雑な関係性をモデル化できるように、サンプリング手法を異種グラフに拡張することを提案する。

実験結果

リサーチクエスチョン

• RQ1 ノード単位、レイヤー単位、部分グラフベース、異種サンプリングといった異なるサンプリングメカニズムは、効率性、スケーラビリティ、パフォーマンスの観点でどのように比較できるか？
• RQ2 GCNトレーニングにおける、サンプリングの正確さと計算コストの間の主なトレードオフは何か？
• RQ3 特定のハードウェアプラットフォームに最適化されたサンプリング手法は、どのようにしてトレーニング効率を向上させられるか？
• RQ4 既存のサンプリング手法を異種グラフに適用する際に生じる課題は何か。それらはどのように解決できるか？
• RQ5 過剰なスムージングを軽減するようにサンプリング戦略を設計できるか。その場合、どのように実現できるか？

主な発見

• 部分グラフベースのサンプリング手法は、バッチあたりのノード数とエッジ数を削減することで、大規模グラフにおいて優れたスケーラビリティとパフォーマンスを達成する。
• ノード単位およびレイヤー単位のサンプリング手法は、小規模から中規模のグラフではより効率的だが、大規模グラフではスケーラビリティに劣る。
• 知識グラフや学術ネットワークのようにノードおよびエッジの種類が異なる複雑な現実世界のグラフをモデル化するには、異種サンプリング手法が不可欠である。
• ハードウェアに配慮したサンプリングは、大規模GCNトレーニングにおいてボトルネックとなっているサンプリング段階を顕著に高速化できる。
• 特徴の多様性を保持し、過剰なスムージングを回避するサンプリング手法は、深層GCNアーキテクチャの実現に不可欠である。
• 複数のサンプリング戦略を統合する統一フレームワークは、多様なグラフタイプとスケールにわたるパフォーマンスと一般化能力の向上に寄与する。