[论文解读] Neural Control Variates for Variance Reduction

Ruosi Wan, Mingjun Zhong+2 more|arXiv (Cornell University)|Jun 1, 2018

Model Reduction and Neural Networks参考文献 7被引用 17

一句话总结

本文提出约束神经控制变量子（CNCV），一种利用神经网络学习控制变量子以降低蒙特卡洛积分方差的方法，特别适用于小样本场景。通过施加中心化和正则化约束，CNCV 有效缓解了过拟合问题，并在合成数据和真实世界贝叶斯推断任务中实现了显著的方差降低，优于当前最先进方法。

ABSTRACT

In statistics and machine learning, approximation of an intractable integration is often achieved by using the unbiased Monte Carlo estimator, but the variances of the estimation are generally high in many applications. Control variates approaches are well-known to reduce the variance of the estimation. These control variates are typically constructed by employing predefined parametric functions or polynomials, determined by using those samples drawn from the relevant distributions. Instead, we propose to construct those control variates by learning neural networks to handle the cases when test functions are complex. In many applications, obtaining a large number of samples for Monte Carlo estimation is expensive, which may result in overfitting when training a neural network. We thus further propose to employ auxiliary random variables induced by the original ones to extend data samples for training the neural networks. We apply the proposed control variates with augmented variables to thermodynamic integration and reinforcement learning. Experimental results demonstrate that our method can achieve significant variance reduction compared with other alternatives.

研究动机与目标

• 解决贝叶斯推断和复杂模型积分中高方差蒙特卡洛估计器的问题，特别是在样本量有限的情况下。
• 克服在小样本数据集上训练神经网络基控制变量子时的过拟合问题。
• 提升在高维和复杂测试函数设定下控制变量子的泛化能力和鲁棒性。
• 减少贝叶斯神经网络在分布外样本上预测的过度自信。
• 开发一种在实际机器学习应用中既能保持低偏差又能实现高方差降低的方差减少方法。

提出的方法

• 提出神经控制变量子（NCV），利用深度神经网络建模复杂非线性控制函数以实现方差降低。
• 引入一种约束优化框架，要求控制变量子具有零均值（中心化），并通过正则化防止在小样本数据集上过拟合。
• 采用损失函数最小化估计器的方差，同时通过惩罚项或投影机制强制满足 E[g(θ)] = 0 的约束。
• 将该方法应用于复杂后验分布下期望的蒙特卡洛估计，包括贝叶斯模型证据和贝叶斯神经网络。
• 使用随机梯度下降在从目标分布中抽取的有限样本集上训练神经网络控制变量子。
• 将控制变量子表示为 g(θ) = f(θ) + h(θ; φ)，其中 h 为参数 φ 的神经网络，最终估计量为 E[f(θ)] ≈ (1/n)Σ(f(θ_i) + g(θ_i))，其中 g(θ_i) 由数据学习得到。

实验结果

研究问题

• RQ1 神经网络能否有效建模复杂控制变量子，以在高维和非线性场景中降低蒙特卡洛方差？
• RQ2 在小样本数据集上训练神经控制变量子是否会导致严重过拟合？若存在，如何缓解？
• RQ3 对神经控制变量子进行约束优化是否能比无约束训练更有效地提升泛化能力并降低方差？
• RQ4 在真实世界贝叶斯推断任务中，该方法在样本有限情况下的表现如何，例如模型证据估计和贝叶斯神经网络中的分布外检测？
• RQ5 CNCV 能否降低贝叶斯神经网络在分布外样本上的预测过度自信？

主要发现

• 与基线方法（包括线性控制变量子和控制函数）相比，CNCV 在合成数据和真实数据问题上均实现了显著的方差降低。
• 在贝叶斯模型证据评估中，CNCV 在小样本场景下比最先进方法更有效地降低了方差。
• 在贝叶斯神经网络推断中，CNCV 在分布外（OOD）样本上产生了最低的熵值，表明其相比原始 BNN 和线性控制变量子基线方法，显著降低了过度自信。
• 该方法优于二次控制变量子和控制函数，后两者因高维性和计算复杂度而未能实现令人满意的方差降低。
• 箱线图分析显示，CNCV 在 OOD 样本上的预测得分略为更稳定，但主要改进体现在通过熵值衡量的过度自信降低。
• 约束训练机制成功缓解了神经控制变量子的过拟合问题，表现为在保留测试样本上泛化能力提升和方差降低。