[论文解读] Approximate Newton-based statistical inference using only stochastic gradients

Tianyang Li, Anastasios Kyrillidis+2 more|arXiv (Cornell University)|May 23, 2018

Adversarial Robustness in Machine Learning参考文献 53被引用 4

一句话总结

本文提出了一种新颖的统计推断框架，用于大规模 M-估计和高维回归，仅通过有限差分法利用随机梯度近似 Hessian-向量乘积。该方法无需精确的 Hessian 矩阵或重采样，即可实现高效且一致的置信区间和 p 值计算，并可扩展至非独立同分布的时间序列以及神经网络中的对抗性攻击检测。

ABSTRACT

We present a novel statistical inference framework for convex empirical risk minimization, using approximate stochastic Newton steps. The proposed algorithm is based on the notion of finite differences and allows the approximation of a Hessian-vector product from first-order information. In theory, our method efficiently computes the statistical error covariance in $M$-estimation, both for unregularized convex learning problems and high-dimensional LASSO regression, without using exact second order information, or resampling the entire data set. We also present a stochastic gradient sampling scheme for statistical inference in non-i.i.d. time series analysis, where we sample contiguous blocks of indices. In practice, we demonstrate the effectiveness of our framework on large-scale machine learning problems, that go even beyond convexity: as a highlight, our work can be used to detect certain adversarial attacks on neural networks.

研究动机与目标

• 解决大规模 M-估计和高维回归中精确 Hessian 矩阵计算的计算不可行性问题。
• 开发一种仅使用一阶信息和有限差分法计算统计误差协方差与置信区间的算法。
• 通过采样连续块的方式，实现非独立同分布时间序列中一致、高效且无需重采样的统计推断。
• 将该框架扩展至非凸情形，用于检测神经网络中的对抗性攻击。
• 在高维设置下，为自助法和现有去偏方法提供一种可证明一致且计算高效的替代方案。

提出的方法

• 利用有限差分法近似 Hessian-向量乘积：∇²f(θ)v ≈ [∇f(θ+δv)−∇f(θ)]/δ，仅依赖于随机梯度。
• 将此近似集成到用于 M-估计的随机牛顿型算法中，避免存储和计算完整的 Hessian 矩阵。
• 针对非独立同分布时间序列，采用块采样方案，通过采样连续的索引块以保留时间依赖性。
• 将该方法应用于无正则化的 M-估计，以及高维 LASSO 的近似牛顿步长，确保以高概率保持强凸性。
• 利用插补估计量 Ĥ⁻¹ĜĤ⁻¹ 计算统计误差协方差，通过近似牛顿步长实现。
• 将该框架集成到神经网络分析中，通过识别损失曲面中的异常曲率模式来检测对抗性样本。

实验结果

研究问题

• RQ1 在无需精确 Hessian 矩阵或重采样的情况下，是否能够高效地在大规模 M-估计中进行统计推断？
• RQ2 在高维设置下，随机梯度的有限差分是否能可靠地近似 Hessian-向量乘积以实现统计推断？
• RQ3 如何在不假设独立同分布采样或完整协方差估计的前提下，将统计推断适应于非独立同分布时间序列？
• RQ4 所提出的框架是否能通过曲率分析检测深度神经网络中的对抗性样本？
• RQ5 在高维 LASSO 中，该方法是否能实现置信区间和 p 值的一致估计，并在收敛性上优于现有方法？

主要发现

• 在无正则化的 M-估计中，该方法在 1000 维稀疏问题上实现了统计误差协方差的一致估计，平均置信区间长度为 0.14，覆盖率达 0.83。
• 在高维 LASSO 回归中，该方法使优化问题具有强凸性，从而实现线性收敛，并在估计误差控制上优于当前最先进方法。
• 对于非独立同分布时间序列，块采样方法实现了 95% 置信区间覆盖率 0.929 和平均长度 0.145，验证了理论预测。
• 该方法通过识别损失曲面中的异常曲率模式，成功检测出神经网络中的对抗性攻击。
• 在 HIV 药物耐药性数据集上，该方法在 5% 家族错误率下检测出已知的耐药突变，证实了其生物学相关性。
• 在核黄素生产数据集上，该方法比以往工作更为保守，在 FWER=0.05 时未发现显著基因，与近期其他研究结果一致。