[论文解读] Analysis of the Frank-Wolfe Method for Logarithmically-Homogeneous Barriers, with an Extension

Renbo Zhao, Robert M. Freund|arXiv (Cornell University)|Oct 18, 2020

Mathematical Approximation and Integration被引用 5

一句话总结

本文针对具有 $\theta$-对数齐次自洽障碍函数的函数，提出了Frank-Wolfe方法的新收敛性分析，表明该方法在达到 $\varepsilon$-精度时，迭代次数为 $O((\delta_0 + \theta)\ln(\delta_0) + \theta^2/\varepsilon)$。该研究进一步将方法扩展至H"{o}lder光滑函数的自适应步长变体，并在模拟的正电子发射断层扫描（PET）问题上验证了其性能。

ABSTRACT

We present a new analysis of the Frank-Wolfe method proposed in Dvurechensky et al. applied to constrained minimization problems where the objective function $f$ is a $ heta$-logarithmically-homogeneous self-concordant barrier. We show that the Frank-Wolfe method requires $O((\delta_0 + heta)\ln(\delta_0) + heta^2/\varepsilon)$ iterations to produce an $\varepsilon$-approximate solution, where $\delta_0$ denotes the initial optimality gap. This result establishes certain intrinsic connections between $ heta$-logarithmically homogeneous barriers and the Frank-Wolfe method. When specialized to the $D$-optimal design problem, we essentially recover the complexity obtained by Kachiyan using the Frank-Wolfe method with exact line-search. We present numerical experiments on simulated PET problem instances that demonstrate the potential for practical usefulness of the Frank-Wolfe method on this class of problems. In addition, we present and analyze an adaptive step-size Frank-Wolfe method when $f$ is Holder smooth.

研究动机与目标

• 分析在 $\theta$-对数齐次自洽障碍函数下Frank-Wolfe方法的收敛性。
• 建立实现 $\varepsilon$-近似解的紧致迭代复杂度界。
• 通过自适应线搜索方法，将该方法扩展至H"{o}lder光滑目标函数。
• 利用障碍函数的曲率和通过线性最小化选择的下降方向，推导收敛速率。
• 将该方法应用于D-最优设计问题，恢复了Kachiyan工作中的已知复杂度界。
• 在合成PET问题上开展数值实验，以展示其实际效率。

提出的方法

• 利用 $\theta$-对数齐次自洽障碍函数的性质，对最优性间隙的演化进行有界控制。
• 该方法追踪初始最优性间隙 $\delta_0$，并通过 $\theta$ 的对数项和二次项将其与迭代次数关联。
• 针对H"{o}lder光滑目标函数，提出一种新的自适应步长规则，可在不依赖光滑性参数的情况下提升收敛性。
• 通过障碍函数的曲率和线性最小化选择的下降方向，推导收敛速率。
• 将该方法应用于D-最优设计问题，恢复了Kachiyan工作中的已知复杂度界。
• 在合成PET问题上开展数值实验，以验证其实际效率。

实验结果

研究问题

• RQ1 当Frank-Wolfe方法应用于 $\theta$-对数齐次自洽障碍函数时，其迭代复杂度是多少？
• RQ2 该方法的收敛速率如何依赖于初始最优性间隙 $\delta_0$ 和障碍参数 $\theta$？
• RQ3 能否为H"{o}lder光滑目标函数设计出自适应步长策略，同时保持收敛性保证？
• RQ4 Frank-Wolfe方法在特殊情形（如D-最优设计）下是否能达到已知的复杂度界？
• RQ5 在类似PET重建等现实世界启发的问题实例中，该方法的实际表现如何？

主要发现

• Frank-Wolfe方法在 $O((\delta_0 + \theta)\ln(\delta_0) + \theta^2/\varepsilon)$ 次迭代内收敛至 $\varepsilon$-最优解。
• 该复杂度界恢复了D-最优设计情形下的已知收敛速率，与Kachiyan在精确线搜索下的结果一致。
• 该分析揭示了 $\theta$-对数齐次障碍函数与Frank-Wolfe收敛行为之间存在的内在几何联系。
• 自适应步长变体确保了在不预先知晓光滑性参数的情况下，对H"{o}lder光滑目标函数的收敛性。
• 在模拟PET问题上的数值结果表明，该方法在该类问题上具有实际可行性与高效性。
• 分析表明，障碍参数 $\theta$ 在平衡收敛速度与迭代次数方面起着关键作用。