[论文解读] Inertial Stochastic PALM and its Application for Learning Student-t Mixture Models.

Johannes Hertrich, Gabriele Steidl|arXiv (Cornell University)|May 5, 2020

Sparse and Compressive Sensing Techniques参考文献 31被引用 2

一句话总结

本文提出 iSPRING，一种用于最小化非光滑、非凸目标函数的惯性随机变体 SPRING 算法，在较弱假设下实现线性收敛。此外，本文还展示了惯性 PALM 方法（包括确定性和随机性）在学习学生 t 分布混合模型中的适用性，展示了理论收敛性，并在性能上优于基线方法。

ABSTRACT

Inertial algorithms for minimizing nonsmooth and nonconvex functions as the inertial proximal alternating linearized minimization algorithm (iPALM) have demonstrated their superiority with respect to computation time over their non inertial variants. In many problems in imaging and machine learning, the objective functions have a special form involving huge data which encourage the application of stochastic algorithms. While the stochastic gradient descent algorithm is still used in the majority of applications, recently also stochastic algorithms for minimizing nonsmooth and nonconvex functions were proposed. In this paper, we derive an inertial variant of the SPRING algorithm, called iSPRING, and prove linear convergence of the algorithm under certain assumptions. Numerical experiments show that our new algorithm performs better than SPRING or its deterministic counterparts, although the improvement for the inertial stochastic approach is not as large as those for the inertial deterministic one. The second aim of the paper is to demonstrate that (inertial) PALM both in the deterministic and stochastic form can be used for learning the parameters of Student-$t$ mixture models. We prove that the objective function of such models fulfills all convergence assumptions of the algorithms and demonstrate their performance by numerical examples.

研究动机与目标

• 开发一种适用于大规模、非光滑和非凸问题的惯性随机优化算法，这类问题在机器学习和成像中普遍存在。
• 将惯性方法的收敛性理论扩展至随机设置，确保在适当假设下实现线性收敛。
• 展示惯性 PALM 变体在学习复杂统计模型（如学生 t 分布混合模型）中的实际效用。
• 在合成和真实世界设置中，将惯性随机算法与非惯性及确定性算法进行性能比较。

提出的方法

• 将 iSPRING 衍生为 SPRING 算法的惯性变体，将类似动量的加速机制融入随机近端梯度步长中。
• 引入一种自适应动量机制，利用历史迭代信息以加速随机非凸优化中的收敛。
• 在标准假设下证明 iSPRING 的线性收敛性，包括目标函数的弱凸性和半代数结构。
• 通过将对数似然函数表述为非光滑、非凸优化问题，将惯性 PALM 框架应用于学生 t 分布混合模型的参数学习。
• 采用分块更新和针对混合模型隐变量结构设计的近端算子。
• 通过数值实验，将收敛速度和解的质量与 SPRING 及确定性 PALM 方法进行对比验证。

实验结果

研究问题

• RQ1 惯性加速能否成功扩展到非光滑和非凸优化的随机算法中？
• RQ2 在合理假设下，所提出的 iSPRING 算法是否能在随机设置中实现线性收敛？
• RQ3 在收敛速度和解的质量方面，iSPRING 与 SPRING 及确定性 PALM 方法相比表现如何？
• RQ4 惯性 PALM 方法能否有效应用于学生 t 分布混合模型的学习？目标函数是否满足所需的收敛条件？
• RQ5 惯性机制在重尾混合模型的随机优化中具有怎样的实际影响？

主要发现

• 所提出的 iSPRING 算法在较弱假设下实现了线性收敛，将惯性方法的理论保证扩展到了随机设置。
• 数值实验表明，iSPRING 在收敛速度和解的质量方面优于 SPRING 及其确定性对应方法，尽管性能提升在随机情况下不如确定性情况显著。
• 学生 t 分布混合模型的目标函数满足惯性 PALM 算法收敛所需的全部条件，从而为该类方法的使用提供了理论依据。
• 实证结果表明，确定性和随机惯性 PALM 方法在学习学生 t 分布混合模型方面均有效，且 iSPRING 在大规模数据上表现出稳健性能。
• 惯性机制在随机设置中提供了可测量的加速效果，尽管收益较确定性对应方法更小，提示未来算法仍有进一步优化空间。