[论文解读] A Newton Frank-Wolfe Method for Constrained Self-Concordant Minimization

Deyi Liu, Volkan Cevher+1 more|arXiv (Cornell University)|Feb 17, 2020

Stochastic Gradient Optimization Techniques参考文献 31被引用 5

一句话总结

该论文提出了一种用于约束自共轭最小化问题的牛顿Frank-Wolfe方法，其线性最小化Oracle（LMO）调用次数为$Ó(\varepsilon^{-\nu})$，其中$\nu = 1 + o(1)$，与在$L$-光滑条件下的标准Frank-Wolfe方法收敛速率一致。该方法利用自共轭性质和基于LMO的更新策略，实现了在D-最优设计和弹性网络正则化逻辑回归等任务中的可扩展、全局收敛优化。

ABSTRACT

We demonstrate how to scalably solve a class of constrained self-concordant minimization problems using linear minimization oracles (LMO) over the constraint set. We prove that the number of LMO calls of our method is nearly the same as that of the Frank-Wolfe method in the L-smooth case. Specifically, our Newton Frank-Wolfe method uses $\mathcal{O}(ε^{-ν})$ LMO's, where $ε$ is the desired accuracy and $ν:= 1 + o(1)$. In addition, we demonstrate how our algorithm can exploit the improved variants of the LMO-based schemes, including away-steps, to attain linear convergence rates. We also provide numerical evidence with portfolio design with the competitive ratio, D-optimal experimental design, and logistic regression with the elastic net where Newton Frank-Wolfe outperforms the state-of-the-art.

研究动机与目标

• 为解决LMO-based方法在自共轭目标函数上缺乏收敛性保证的问题，这类目标函数在机器学习和统计学中非常常见。
• 开发一种可扩展的一阶方法，使用线性最小化Oracle（LMO）而非投影操作，特别适用于具有对数、对数行列式或岭回归正则化指数目标函数的问题。
• 建立非$L$-光滑自共轭函数的收敛速率，将Frank-Wolfe类方法的适用范围从$L$-光滑范式扩展至更广泛的情形。
• 展示如何将改进的LMO变体（如远离步长）集成进来，以实现该类问题的线性收敛速率。

提出的方法

• 该方法结合牛顿步骤与Frank-Wolfe风格的线搜索，利用自共轭障碍框架，以保证局部二次收敛特性。
• 在每次迭代中采用阻尼牛顿步长，通过LMO求解子问题，以高效计算搜索方向。
• 算法采用回溯线搜索，并结合自共轭障碍函数，以确保目标函数的充分下降。
• 提出一种基于自共轭势函数对应的Bregman散度的新李雅普诺夫函数，用于收敛性分析。
• 通过引入远离步长加速收敛，在较弱条件下实现线性收敛速率。
• 理论分析依赖于自共轭性质，包括对Hessian矩阵的有界性控制以及利用对偶范数来调控曲率。

实验结果

研究问题

• RQ1 LMO-based方法能否在非$L$-光滑的自共轭目标函数上实现接近最优的迭代复杂度？
• RQ2 如何将牛顿步骤与Frank-Wolfe方法结合，以在保持LMO可扩展性的同时提升收敛性能？
• RQ3 Frank-Wolfe方法的远离步长变体能否在Hessian矩阵退化的情况下实现自共轭问题的线性收敛？
• RQ4 自共轭最小化问题的牛顿Frank-Wolfe方法的理论LMO复杂度是多少？
• RQ5 所提出的方法在实际应用（如投资组合设计和D-最优设计）中能否优于当前最先进的求解器？

主要发现

• 所提出的牛顿Frank-Wolfe方法实现了$\mathcal{O}(\varepsilon^{-\nu})$的LMO复杂度，其中$\nu = 1 + o(1)$，与在$L$-光滑条件下的标准Frank-Wolfe方法收敛速率一致。
• 当结合远离步长时，该方法即使在最优解位于约束集边界的情况下，也能实现全局线性收敛。
• 数值实验表明，该方法在投资组合设计（具有竞争力的比值）、D-最优实验设计以及弹性网络正则化逻辑回归任务中，均优于当前最先进的求解器。
• 理论分析证明，每次迭代的子问题解具有$\eta_k$-精度，其中$\eta_k = \beta \sigma^k / C$，从而确保全局收敛。
• 该方法实现了收敛速率$f(x^{k+1}) - f^\star \leq \left(\frac{12\beta^3}{1-2\beta} + \frac{\beta^2}{C^2} + \beta^2\right) \sigma^{2k}$，意味着对于$\varepsilon$-精度，其LMO调用次数为$\mathcal{O}(\varepsilon^{-\nu})$。
• 该方法适用于广泛的问题类别，包括D-最优设计、最小体积外接椭球、量子层析成像以及弹性网络正则化逻辑回归。