[论文解读] Composite Self-Concordant Minimization

Quoc Tran-Dinh, Anastasios Kyrillidis+1 more|arXiv (Cornell University)|Aug 13, 2013

Sparse and Compressive Sensing Techniques参考文献 65被引用 64

一句话总结

本文提出了一种用于最小化复合自共轭函数的可变度量框架——即自共轭光滑函数与具有易于计算的近端算子的非光滑凸函数之和——且无需依赖标准的Lipschitz梯度假设。主要贡献在于基于自共轭性的新颖步长选择与校正机制，使得在温和条件下实现全局收敛并具备超线性收敛速率。

ABSTRACT

We propose a variable metric framework for minimizing the sum of a self-concordant function and a possibly non-smooth convex function, endowed with an easily computable proximal operator. We theoretically establish the convergence of our framework without relying on the usual Lipschitz gradient assumption on the smooth part. An important highlight of our work is a new set of analytic step-size selection and correction procedures based on the structure of the problem. We describe concrete algorithmic instances of our framework for several interesting applications and demonstrate them numerically on both synthetic and real data.

研究动机与目标

• 解决当光滑部分不满足Lipschitz连续梯度时，复合凸优化缺乏全局收敛保证的问题。
• 开发一种不依赖Lipschitz梯度假设的框架，以维持收敛性与效率，该假设在实际中常被违反。
• 提出一种基于自共轭性理论的步长选择与校正策略，以确保收敛的鲁棒性。
• 为涉及自共轭函数与可计算近端算子的正则化项的复合问题，实现全局收敛与超线性收敛速率。
• 提供一个统一的算法框架，适用于稀疏优化、图学习及其他具有非光滑正则化的结构化问题。

提出的方法

• 提出一种可变度量的近端-牛顿方法，其中光滑部分的Hessian矩阵用作近端算子中的度量。
• 设计一种基于光滑函数自共轭性质的新步长选择规则，以确保目标函数的充分下降。
• 引入一种校正过程，用于在非Lipschitz光滑性条件下调整搜索方向，以维持收敛性。
• 利用Dennis-Moré条件，在Hessian逼近渐近改善时建立超线性收敛性。
• 通过使用可变度量的广义近端算子来表述算法，从而在高维设置下实现高效计算。
• 基于自共轭势能的类李雅普诺夫函数建立收敛性，确保在无Lipschitz假设下实现全局收敛。

实验结果

研究问题

• RQ1 我们能否在不假设光滑部分具有Lipschitz连续梯度的前提下，实现复合自共轭最小化的全局收敛？
• RQ2 如何设计自适应步长，以利用自共轭函数的内在几何结构来确保收敛？
• RQ3 当Hessian逼近在迭代过程中逐步改善时，变量度量方法在何种条件下可实现超线性收敛？
• RQ4 在存在非光滑正则化项的情况下，我们能否在不依赖Lipschitz梯度假设的前提下，保持计算的可处理性？
• RQ5 在非Lipschitz光滑性条件下，与现有近端梯度法或牛顿型方法相比，所提框架在收敛速率与鲁棒性方面表现如何？

主要发现

• 所提框架在不依赖光滑部分Lipschitz梯度假设的前提下，实现了复合自共轭最小化的全局收敛。
• 在温和条件下，算法表现出超线性收敛性，特别是当Hessian逼近满足Dennis-Moré条件时。
• 步长选择与校正机制直接源于自共轭结构，确保了充分下降与稳定性。
• 全局收敛速率呈线性，其收敛因子依赖于条件数以及Hessian逼近的精度。
• 即使Hessian并非全局Lipschitz连续，该方法仍能通过依赖局部自共轭性质实现全局收敛。
• 在合成数据与真实数据上的数值实验验证了该方法在稀疏恢复与低秩恢复任务中的鲁棒性与高效性。