[论文解读] Inexact Regularized Proximal Newton Method: Provable Convergence Guarantees for Non-Smooth Convex Minimization without Strong Convexity

Man–Chung Yue, Zirui Zhou+1 more|arXiv (Cornell University)|May 24, 2016

Sparse and Compressive Sensing Techniques参考文献 43被引用 4

一句话总结

本文提出了一种非精确正则化邻近牛顿（IRPN）方法，用于非光滑凸优化，结合了二阶优化与非精确子问题解法。即使在不假设强凸性的情况下，该方法仍能证明全局收敛且具有超线性收敛速率，其理论依据为一种新颖的误差界条件，在ℓ₁-正则化逻辑回归问题上优于现有方法。

ABSTRACT

We propose a second-order method, the inexact regularized proximal Newton (IRPN) method, to minimize a sum of smooth and non-smooth convex functions. We prove that the IRPN method converges globally to the set of optimal solutions and the asymptotic rate of convergence is superlinear, even when the objective function is not strongly convex. Key to our analysis is a novel usage of a certain error bound condition. We compare two empirically efficient algorithms---the newGLMNET and adaptively restarted FISTA---with our proposed IRPN by applying them to the $\ell_1$-regularized logistic regression problem. Experiment results show the superiority of our proposed algorithm.

研究动机与目标

• 开发一种高效的二阶优化方法，用于处理非光滑凸函数，且无需强凸性假设。
• 在较弱条件下，建立所提方法的全局收敛性与超线性收敛速率。
• 为邻近牛顿方法中非精确子问题解法提供可证明的收敛保证。
• 在ℓ₁-正则化逻辑回归问题上，通过实验比较IRPN方法与当前最先进算法的性能。

提出的方法

• IRPN方法通过使用非精确子问题解法的正则化牛顿步长，求解光滑与非光滑凸函数之和的最小化问题。
• 采用一种新颖的误差界条件来控制子问题求解的不精确性，确保收敛性。
• 通过引入邻近项来处理非光滑分量，从而可应用于ℓ₁-正则化等实际问题。
• 采用线搜索策略，即使在非精确解下也能保证目标函数的充分下降。
• 通过平衡子问题求解的精度与曲率信息，算法设计旨在保持超线性收敛速度。

实验结果

研究问题

• RQ1 能否在不假设强凸性的情况下，使二阶方法在非光滑凸问题上实现超线性收敛？
• RQ2 如何控制非精确子问题解法，以保持全局收敛性与快速收敛速率？
• RQ3 何种误差界条件可在缺乏强凸性时提供收敛性保证？
• RQ4 在ℓ₁-正则化逻辑回归问题上，IRPN与自适应重启FISTA及newGLMNET相比，实际表现如何？

主要发现

• IRPN方法在无需强凸性假设的情况下，可实现对非光滑凸问题最优解集的全局收敛。
• 由于采用了新颖的误差界条件，该方法即使在缺乏强凸性时，仍表现出超线性收敛速率。
• 实验结果表明，IRPN在ℓ₁-正则化逻辑回归问题上的收敛速度与解的质量，均优于newGLMNET与自适应重启FISTA。
• 得益于基于误差界的控制机制，非精确子问题解法并未损害收敛性保证。