[論文レビュー] Bandit Samplers for Training Graph Neural Networks.

Ziqi Liu, Zhengwei Wu+5 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Graph Neural Networks被引用数 3

ひとこと要約

本稿では、勾配推定の分散を最小化するために、探索と活用を動的にバランスさせるバンドイットベースのサンプリング手法を提案する。サンプリングを敵対的バンディット問題としてモデル化することで、変化するノード埋め込みと学習済み重みに適応し、理論的最小分散の3倍以内で漸近的最適性を達成する。

ABSTRACT

Several sampling algorithms with variance reduction have been proposed for accelerating the training of Graph Convolution Networks (GCNs). However, due to the intractable computation of optimal sampling distribution, these sampling algorithms are suboptimal for GCNs and are not applicable to more general graph neural networks (GNNs) where the message aggregator contains learned weights rather than fixed weights, such as Graph Attention Networks (GAT). The fundamental reason is that the embeddings of the neighbors or learned weights involved in the optimal sampling distribution are changing during the training and not known a priori, but only partially observed when sampled, thus making the derivation of an optimal variance reduced samplers non-trivial. In this paper, we formulate the optimization of the sampling variance as an adversary bandit problem, where the rewards are related to the node embeddings and learned weights, and can vary constantly. Thus a good sampler needs to acquire variance information about more neighbors (exploration) while at the same time optimizing the immediate sampling variance (exploit). We theoretically show that our algorithm asymptotically approaches the optimal variance within a factor of 3. We show the efficiency and effectiveness of our approach on multiple datasets.

研究の動機と目的

• 勾配畳み込みネットワーク（GCNs）における既存のサンプリング手法の非最適性を解消する。これは、最適なサンプリング分布が計算不能であることが原因である。
• 現在の分散低減サンプラーが固定重みに依存しており、学習済みアグリゲータを備えたGNN（例：グラフ自己注意ネットワーク（GAT））には適用できないという制限を克服する。
• サンプリング分散最適化を、動的ノード埋め込みと学習済み重みに依存する報酬を持つ敵対的バンディット問題として定式化する。
• 訓練中に変化するモデル状態に適応できるように、隣接ノード情報の探索を動的に制御するとともに、即時の分散低減を活用して、訓練の効率性と収束性を向上させる手法を開発する。

提案手法

• 各隣接ノード選択をアームとして扱い、報酬が勾配分散に関連する確率的報酬を持つ敵対的バンディット問題として、サンプリングプロセスをモデル化する。
• 文脈付きバンディットアルゴリズムを用いて、未確認の隣接ノードからの分散情報収集（探索）と、即時の分散を最小化するノード選択（活用）のバランスを取る。
• 訓練中にノード埋め込みと学習済み重みの部分観測に基づき、サンプリング方針を動的に更新することで、変化するモデル状態に適応する。
• 理論的分析により、モデルパラメータが変化しても、この手法が理論的最小分散の3倍以内に漸近的に近づくことが示される。
• 下流のアーキテクチャやアグリゲーションメカニズムを変更せずに、GNNの順伝搬および逆伝搬処理にバンドイット・サンプラーを統合する。

実験結果

リサーチクエスチョン

• RQ1 訓練中に変化する埋め込みと学習済み重みに適応できるサンプリング戦略を設計することで、GNNにおける勾配分散を低減できるか？
• RQ2 動的依存性のため最適なサンプリング分布が計算不能であるGATのような学習済みアグリゲータを備えたGNNにおいて、分散低減をどのように達成できるか？
• RQ3 バンドイットベースのアプローチが、探索と活用をどの程度バランスさせることで、サンプリング分散の理論的下限に近づけるか？
• RQ4 提案手法は、多様なグラフデータセットにおいて、既存のサンプリングベースラインと比較して、訓練速度とモデル精度の両面で優れているか？

主な発見

• 提案されたバンドイット・サンプラーは、理論的最小分散の3倍以内に漸近的に近づくことができ、性能に関する理論的保証を提供する。