[论文解读] A Stochastic Quasi-Newton Method for Large-Scale Nonconvex Optimization with Applications

Honglin Chen, Huanran Wu+2 more|arXiv (Cornell University)|Dec 10, 2019

Sparse and Compressive Sensing Techniques参考文献 39被引用 5

一句话总结

本文提出了一种新颖的随机阻尼与正则化有限内存拟牛顿法（Sd-REG-LBFGS），用于大规模非凸优化，通过正则化和阻尼参数确保正定性并缓解病态性，从而提升数值稳定性和收敛性。该方法在小批量设置下显著优于SdLBFGS，并在逻辑回归与贝叶斯逻辑回归任务中对批量大小和内存大小变化表现出更优的鲁棒性。

ABSTRACT

This paper proposes a novel stochastic version of damped and regularized BFGS method for addressing the above problems.

研究动机与目标

• 解决非凸问题中随机拟牛顿方法面临的病态性和正定性丧失问题。
• 在噪声Hessian近似下，提升随机LBFGS在大规模非凸优化中的鲁棒性和收敛性。
• 通过在间隔时间点使用平均迭代值更新曲率信息，降低计算成本，同时保持精度。
• 通过正则化和阻尼参数策略，提升小样本情况下的数值稳定性。
• 在合成数据集和真实世界数据集上，评估逻辑回归与贝叶斯逻辑回归任务中的性能表现。

提出的方法

• 提出一种阻尼与正则化的BFGS更新，确保Hessian近似保持正定性并避免奇异化。
• 引入阻尼参数，保证校正对乘积的正性，提升数值稳定性。
• 在间隔时间点使用平均迭代值更新曲率信息，降低随机LBFGS中的计算成本。
• 利用采样Hessian-向量乘积估计曲率，避免完整Hessian计算，降低噪声影响。
• 对BFGS更新应用正则化，防止病态性，尤其在小样本条件下。
• 采用有限内存框架，保持可扩展性并减少大规模问题中的存储需求。

实验结果

研究问题

• RQ1 正则化与阻尼的BFGS更新是否能提升随机拟牛顿方法在非凸优化中的收敛性与稳定性？
• RQ2 在小批量设置下，该方法性能如何，此时病态性更为显著？
• RQ3 使用平均迭代值更新曲率是否能降低计算成本而不牺牲收敛质量？
• RQ4 与SdLBFGS相比，该方法在批量大小和内存大小变化下的鲁棒性如何？
• RQ5 与现有随机拟牛顿方法相比，该方法是否能在逻辑回归与贝叶斯逻辑回归问题上实现更优性能？

主要发现

• 所提出的Sd-REG-LBFGS方法在分类准确率上显著优于SdLBFGS，符号检验的log p值为-15.05，Wilcoxon检验的log p值为-9.40，表明具有统计显著性（p < 0.05）。
• 在小样本情况下，由于正则化与阻尼带来的数值稳定性提升，该方法优于SdLBFGS。
• 该方法对批量大小和内存大小变化的鲁棒性优于SdLBFGS，尤其在小批量场景中表现更优。
• 在合成数据集与真实数据集上，该方法分别实现了95.14%（S1）和95.25%（S2）的平均准确率，显著优于SdLBFGS及其他基线方法。
• 得益于平均迭代值与正则化更新的结合，该方法即使在曲率信息极少的情况下仍能保持高性能。
• 结果表明，正则化与阻尼策略在缓解病态性与提升非凸随机优化中的收敛性方面具有显著有效性。