[论文解读] Machine Learning's Dropout Training is Distributionally Robust Optimal

José Blanchet, Yang Kang+3 more|arXiv (Cornell University)|Sep 13, 2020

Statistical Methods and Inference参考文献 48被引用 9

一句话总结

该论文证明，在广义线性模型（GLM）中，dropout训练等价于分布鲁棒优化（DRO），其中dropout噪声——以概率δ随机删除协变量项——代表了在极小化极大博弈中自然的最不利扰动。关键结果是，dropout训练在协变量乘法扰动下提供了理论上的样本外性能保证，形式化了其对过拟合的鲁棒性。

ABSTRACT

This paper shows that dropout training in Generalized Linear Models is the minimax solution of a two-player, zero-sum game where an adversarial nature corrupts a statistician's covariates using a multiplicative nonparametric errors-in-variables model. In this game, nature's least favorable distribution is dropout noise, where nature independently deletes entries of the covariate vector with some fixed probability $δ$. This result implies that dropout training indeed provides out-of-sample expected loss guarantees for distributions that arise from multiplicative perturbations of in-sample data. In addition to the decision-theoretic analysis, the paper makes two more contributions. First, there is a concrete recommendation on how to select the tuning parameter $δ$ to guarantee that, as the sample size grows large, the in-sample loss after dropout training exceeds the true population loss with some pre-specified probability. Second, the paper provides a novel, parallelizable, Unbiased Multi-Level Monte Carlo algorithm to speed-up the implementation of dropout training. Our algorithm has a much smaller computational cost compared to the naive implementation of dropout, provided the number of data points is much smaller than the dimension of the covariate vector.

研究动机与目标

• 在极小化极大框架下，正式证明dropout训练是一种分布鲁棒优化（DRO）方法。
• 通过展示dropout最优地防御了协变量的对抗性乘法扰动，解释其为何能缓解过拟合。
• 基于样本内损失超过真实总体损失的概率，提出一种有原则的dropout率δ选择方法。
• 开发一种计算高效的无偏多级蒙特卡洛算法，以实现可扩展的dropout训练。

提出的方法

• 将dropout建模为统计学家与对手（自然）之间的两人零和博弈，其中自然通过乘法非参数误差变量模型对协变量施加污染。
• 证明该博弈的极小化极大解对应于dropout训练，且自然的最不利分布为独立伯努利dropout，其概率为δ。
• 应用极小化极大定理（Morgenstern和von Neumann，1953年），证明极小化极大、极大极小和纳什均衡收益之间的等价性。
• 通过分析样本内dropout损失超过真实总体损失的概率，推导出一种新颖的δ调优规则，表明δ ≈ c/√n可实现预设的置信水平。
• 提出一种无偏多级蒙特卡洛算法，通过利用分层方差缩减，在n ≪ d时显著降低计算成本。
• 证明与朴素蒙特卡洛或对2^d种dropout模式的完整枚举相比，计算复杂度显著降低。

实验结果

研究问题

• RQ1 在对抗性协变量污染下，dropout训练是否等价于一个分布鲁棒优化问题？
• RQ2 在对抗博弈中，自然的最不利分布是什么？它是否对应于dropout噪声？
• RQ3 如何选择dropout率δ，以确保样本内损失不超过总体损失的概率为预设值？
• RQ4 能否开发一种计算高效、无偏的随机优化方法用于dropout训练，使其优于朴素蒙特卡洛方法？

主要发现

• 在GLM中，dropout训练是两人零和博弈的极小化极大解，其中自然通过乘法非参数噪声对协变量施加污染。
• 自然的最不利分布为独立伯努利dropout，其概率为δ，证实dropout是应对此类扰动的最优防御策略。
• 在任何对样本内数据的乘法扰动下，样本外期望损失均不会超过dropout训练下的样本内损失。
• 当δ固定时，dropout训练的样本内损失超过真实总体损失的概率为1，但通过设定δ = c/√n（c适当）可控制该概率。
• 所提出的无偏多级蒙特卡洛算法实现了估计器的O(2^{-2K})方差衰减，收敛速度优于朴素蒙特卡洛方法。
• 数值结果表明，当使用足够多的并行迭代时，新算法在参数收敛方面优于标准SGD，尤其在高维设置下（n ≪ d）表现更优。