[论文解读] Empirical Risk Minimization and Stochastic Gradient Descent for Relational Data

Victor Veitch, Morgane Austern+3 more|arXiv (Cornell University)|Jun 27, 2018

Advanced Graph Neural Networks参考文献 6被引用 3

一句话总结

本文提出关系型经验风险最小化（Relational ERM），一种将经验风险最小化与随机梯度下降扩展至关系型数据的框架，通过将图采样明确纳入模型设计，实现无偏随机梯度，从而借助自动微分实现高效、开箱即用的训练，并在半监督节点分类与顶点属性嵌入任务中表现出色。

ABSTRACT

Empirical risk minimization is the main tool for prediction problems, but its extension to relational data remains unsolved. We solve this problem using recent ideas from graph sampling theory to (i) define an empirical risk for relational data and (ii) obtain stochastic gradients for this empirical risk that are automatically unbiased. This is achieved by considering the method by which data is sampled from a graph as an explicit component of model design. By integrating fast implementations of graph sampling schemes with standard automatic differentiation tools, we provide an efficient turnkey solver for the risk minimization problem. We establish basic theoretical properties of the procedure. Finally, we demonstrate relational ERM with application to two non-standard problems: one-stage training for semi-supervised node classification, and learning embedding vectors for vertex attributes. Experiments confirm that the turnkey inference procedure is effective in practice, and that the sampling scheme used for model specification has a strong effect on model performance. Code is available at https://github.com/wooden-spoon/relational-ERM.

研究动机与目标

• 解决关系型数据场景下经验风险最小化（ERM）缺乏原则性、通用框架的问题，其中数据无法分解为独立同分布（i.i.d.）样本。
• 克服标准随机梯度下降（SGD）在关系型数据上因图结构引发的依赖性而无法生成无偏梯度的根本挑战。
• 开发一种通用、与模型无关的推理方法，保留经典 ERM 的关键优势：统计一致性与通过无偏随机梯度实现的高效优化。
• 通过将快速图采样方案与自动微分工具集成，实现关系学习任务的实用化、可扩展训练。
• 为所提出的框架建立收敛性与嵌入稳定性方面的理论保证。

提出的方法

• 将关系型数据的经验风险定义为在随机采样子图上损失的期望，明确将图采样机制纳入风险公式化。
• 将图采样方案（如均匀边采样或顶点采样）作为模型设计的核心组件，确保在采样子图上损失的梯度是完整梯度的无偏估计。
• 利用图交换性理论与图瓦森过程理论，证明经验风险的渐近行为，确保估计量的一致性。
• 将基于采样的风险与梯度计算集成至自动微分框架中，实现关系型模型的端到端可微训练。
• 将目标函数表述为采样子图的函数，使得在指定采样机制下，可保证使用小批量 SGD 时梯度的无偏性。
• 将该框架应用于两类非标准任务：单阶段半监督节点分类与顶点属性嵌入学习，采用通过随机优化训练的可微模型。

实验结果

研究问题

• RQ1 能否为关系型数据开发一种类似于经典 ERM 在 i.i.d. 数据上的原则性、通用框架？
• RQ2 在数据无法分解为独立样本的关系学习问题中，如何构建无偏随机梯度？
• RQ3 何种采样方案可确保在关系型设置下，随机梯度是完整梯度的无偏估计？
• RQ4 随着观测图规模增大，所提框架是否能产生一致且收敛的估计量？
• RQ5 采样方案的选择在实践中如何影响模型性能与稳定性？

主要发现

• 所提出的 Relational ERM 框架确保在随机采样子图上计算的随机梯度是完整梯度的无偏估计，从而可直接使用标准小批量 SGD。
• 理论分析表明，在弱正则性条件下（包括损失函数的强凸性与有界 Hessian 矩阵），估计参数以概率收敛于期望风险的真正最小化点。
• 该框架实现了稳定的嵌入：当 $n \to \infty$ 时，大小为 $n$ 与 $n+1$ 的图上估计的嵌入差异以概率收敛于零，表明对数据规模变化具有鲁棒性。
• 实验表明该方法在实践中有效，在单阶段半监督节点分类与顶点属性嵌入任务中均取得优异性能。
• 采样方案的选择显著影响模型性能，凸显将采样设计整合进模型规范的重要性。
• 该框架为开箱即用：通过将快速图采样与自动微分结合，实现高效、无需手动推导模型梯度的即插即用训练。