[论文解读] Bandit Samplers for Training Graph Neural Networks.

Ziqi Liu, Zhengwei Wu+5 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Graph Neural Networks被引用 3

一句话总结

本文提出了一种基于上下文多臂赌博机的采样方法，用于训练图神经网络（GNNs），通过动态平衡探索与利用，最小化梯度估计中的方差。通过将采样建模为对抗性多臂赌博机问题，该方法能够适应不断变化的节点嵌入和学习到的权重，其渐近最优性在理论最小方差的3倍因子范围内。

ABSTRACT

Several sampling algorithms with variance reduction have been proposed for accelerating the training of Graph Convolution Networks (GCNs). However, due to the intractable computation of optimal sampling distribution, these sampling algorithms are suboptimal for GCNs and are not applicable to more general graph neural networks (GNNs) where the message aggregator contains learned weights rather than fixed weights, such as Graph Attention Networks (GAT). The fundamental reason is that the embeddings of the neighbors or learned weights involved in the optimal sampling distribution are changing during the training and not known a priori, but only partially observed when sampled, thus making the derivation of an optimal variance reduced samplers non-trivial. In this paper, we formulate the optimization of the sampling variance as an adversary bandit problem, where the rewards are related to the node embeddings and learned weights, and can vary constantly. Thus a good sampler needs to acquire variance information about more neighbors (exploration) while at the same time optimizing the immediate sampling variance (exploit). We theoretically show that our algorithm asymptotically approaches the optimal variance within a factor of 3. We show the efficiency and effectiveness of our approach on multiple datasets.

研究动机与目标

• 解决现有图卷积网络（GCNs）采样方法因最优采样分布难以计算而导致的次优性问题。
• 克服当前方差减少采样器的局限性——其依赖固定权重，无法应用于具有可学习聚合器（如图注意力网络GAT）的GNNs。
• 将采样方差优化建模为对抗性多臂赌博机问题，其中奖励取决于动态的节点嵌入和学习到的权重。
• 开发一种自适应方法，在探索邻居信息的同时利用即时方差减少，以提升训练效率与收敛性。

提出的方法

• 将采样过程建模为对抗性多臂赌博机问题，其中每个邻居选择对应一个臂，其随机奖励与梯度方差相关。
• 使用上下文多臂赌博机算法，平衡探索（从未见过的邻居收集方差信息）与利用（选择能最小化即时方差的邻居）。
• 基于训练过程中对节点嵌入和学习权重的部分观测，动态更新采样策略，从而适应模型状态的变化。
• 理论分析表明，即使模型参数持续演化，该方法仍能渐近逼近最优采样方差的3倍因子以内。
• 将赌博机采样器无缝集成到GNN的前向与反向传播过程中，无需修改底层架构或聚合机制。

实验结果

研究问题

• RQ1 能否设计一种采样策略，使其在GNN训练过程中自适应于不断变化的嵌入和学习权重，从而减少梯度方差？
• RQ2 在具有可学习聚合器（如GAT）的GNN中，如何实现方差减少？此类模型的最优采样分布因动态依赖关系而难以计算。
• RQ3 基于赌博机的方法在多大程度上能有效平衡探索与利用，以逼近采样方差的理论下界？
• RQ4 所提出的方法在多种图数据集上是否在训练速度和模型准确率方面均优于现有采样基线？

主要发现

• 所提出的赌博机采样器渐近逼近最优采样方差的3倍因子以内，提供了性能的理论保证。