[论文解读] Linear rates of asymptotic regularity for Halpern-type iterations

Horaţiu Cheval, Laurenţiu Leuştean|arXiv (Cornell University)|Mar 9, 2023

Optimization and Variational Analysis被引用 5

一句话总结

本文通过应用Sabach和Shtern的引理，建立了非线性分析与优化中Halpern型迭代的渐近正则性线性速率。该研究推导出Hilbert空间和CAT(0)空间中Halpern迭代、邻近点算法及其相关变体的显式线性收敛速率，显著优于以往的多项式速率。

ABSTRACT

In this note we apply a lemma due to Sabach and Shtern to compute linear rates of asymptotic regularity for Halpern-type nonlinear iterations studied in optimization and nonlinear analysis.

研究动机与目标

• 推导非线性分析与优化中Halpern型迭代的显式线性渐近正则性速率。
• 将Sabach-Shtern引理的适用范围扩展至原始范围之外的新一类Halpern型迭代。
• 通过建立线性速率，改进邻近点算法及其相关算法此前已知的多项式收敛速率。
• 为Hilbert空间和CAT(0)空间中凸函数极小化点的迭代方法提供定量收敛保证。

提出的方法

• 将Sabach和Shtern的引理1.1应用于满足涉及非负实数和参数 $ a_n = \frac{N}{\gamma(n+J)} $ 的递推不等式的序列。
• 证明若 $ s_{n+1} \leq (1 - \gamma a_{n+1})s_n + (a_n - a_{n+1})c_n $，则 $ s_n \leq \frac{JL}{\gamma(n+J)} $，从而获得线性衰减。
• 利用该界分析Halpern迭代 $ x_{n+1} = (1 - \alpha_n)u + \alpha_n T x_n $，其中 $ \alpha_n = 1 - \frac{2}{n+2} $。
• 将该框架应用于Halpern型邻近点算法 $ x_{n+1} = (1 - \alpha_n)u + \alpha_n J_{\gamma_n A}x_n $，其中 $ \alpha_n = 1 - \frac{2}{n+2} $，$ \gamma_n = \frac{n+2}{n+1} $。
• 将结果扩展至通过凸函数的预解算子 $ J_{\gamma_n f} $ 在CAT(0)空间中求解极小化问题。
• 推导出渐近正则性、$ T_n $-正则性和 $ T_m $-正则性的显式速率 $ \Phi(k) = 6M(k+1) - 2 $，$ \Phi^*(k) = 10M(k+1) - 2 $，以及 $ \tilde{\Phi}(k) = 20M(k+1) - 2 $。

实验结果

研究问题

• RQ1 能否在Sabach-Shtern引理原始适用范围之外，为Halpern型迭代建立线性渐近正则性速率？
• RQ2 在Hilbert空间和CAT(0)空间中，Halpern迭代的显式线性收敛速率是什么？
• RQ3 Halpern型邻近点算法的收敛速率与以往的多项式速率相比如何？
• RQ4 该框架能否扩展至参数变化的预解族 $ J_{\gamma_n A} $ 和 $ J_{\gamma_n f} $？
• RQ5 参数选择 $ \alpha_n = 1 - \frac{2}{n+2} $，$ \gamma_n = \frac{n+2}{n+1} $ 对收敛速度的定量影响是什么？

主要发现

• 对于参数 $ \alpha_n = 1 - \frac{2}{n+2} $ 的Halpern迭代，序列 $ (x_n) $ 具有渐近正则性，其速率为 $ \Phi(k) = 6M(k+1) - 2 $。
• 序列 $ (x_n) $ 关于 $ T_n $ 具有渐近正则性，速率为 $ \Phi^*(k) = 10M(k+1) - 2 $，其中 $ T_n = J_{\gamma_n A} $。
• 对每个固定的 $ m $，序列 $ (x_n) $ 关于 $ T_m $ 具有渐近正则性，速率为 $ \tilde{\Phi}(k) = 20M(k+1) - 2 $。
• 这些线性速率显著优于[16]中针对相同算法获得的多项式速率。
• 结果在Hilbert空间中适用于Halpern型邻近点算法，在完备的CAT(0)空间中适用于凸下半连续函数的极小化点。
• 该框架适用于联合非扩张族 $ (J_{\gamma_n A}) $ 和 $ (J_{\gamma_n f}) $，确保满足引理1.1的条件。