[论文解读] Complexity of Inexact Proximal Newton methods.

Katya Scheinberg, Xiaocheng Tang|arXiv (Cornell University)|Nov 26, 2013

Sparse and Compressive Sensing Techniques参考文献 23被引用 4

一句话总结

本文提出了一种用于稀疏优化的不精确邻近牛顿方法的通用框架，结合了二阶Hessian近似与一阶求解器（如坐标下降法）在线搜索下的充分下降条件。该方法建立了具有理论保证的全局收敛速率，扩展并统一了现有算法，同时提供了一个统一的分析框架。

ABSTRACT

Recently several methods were proposed for sparse optimization which make careful use of second-order information [10, 28, 16, 3] to improve local convergence rates. These methods construct a composite quadratic approximation using Hessian information, optimize this approximation using a first-order method, such as coordinate descent and employ a line search to ensure sufficient descent. Here we propose a general framework, which includes slightly modified versions of existing algorithms and also a new algorithm, and provide a global convergence rate analysis in the spirit of proximal gradient methods, which includes analysis of method based on coordinate descent.

研究动机与目标

• 开发一个通用框架，统一并扩展现有的用于稀疏优化的不精确邻近牛顿方法。
• 将二阶Hessian信息与一阶优化技术（如坐标下降法）相结合。
• 通过线搜索实现充分下降，确保全局收敛。
• 提供类似于邻近梯度方法的理论收敛速率分析。

提出的方法

• 利用Hessian信息构建复合二次近似，以捕捉目标函数的曲率。
• 使用一阶方法（如坐标下降法）近似求解子问题，以降低计算成本。
• 采用线搜索策略，确保充分下降并维持全局收敛性。
• 在框架内提出一种新算法，即使在子问题求解不精确的情况下仍保持收敛保证。
• 采用类似邻近梯度的框架分析收敛速率，将该方法扩展至子问题求解不精确的情形。
• 提供统一的理论分析，涵盖修改后的现有算法与新方法。

实验结果

研究问题

• RQ1 在稀疏优化中，如何高效结合二阶信息与一阶求解器，同时保持全局收敛性？
• RQ2 当使用坐标下降法作为子问题求解器时，能否为不精确邻近牛顿方法建立收敛速率保证？
• RQ3 所提出的框架如何统一并推广现有的不精确牛顿型算法？
• RQ4 在子问题不精确求解时，确保充分下降的条件是什么？
• RQ5 能否在此框架内设计一种新算法，在保持理论收敛性的同时提升实际效率？

主要发现

• 在适当的线搜索条件下，所提出的框架可实现不精确邻近牛顿方法的全局收敛。
• 即使子问题求解不精确，该方法仍能保持与精确牛顿方法相当的收敛速率。
• 该分析可扩展至使用坐标下降法求解子问题的算法，为其应用提供了理论依据。
• 在框架内引入了一种新算法，继承了该通用方法的收敛特性。
• 统一的分析框架同时覆盖了现有算法的修改版本与新方法，提供了共同的理论基础。
• 该框架通过不精确求解平衡曲率信息与计算成本，实现了高效的稀疏优化。