[論文レビュー] Linear rates of asymptotic regularity for Halpern-type iterations

Horaţiu Cheval, Laurenţiu Leuştean|arXiv (Cornell University)|Mar 9, 2023

Optimization and Variational Analysis被引用数 5

ひとこと要約

本稿は、SabachとShternの補題を応用することで、非線形解析および最適化におけるハルペルン型反復法の漸近的正則性の線形収束速度を確立する。ヒルバート空間およびCAT(0)空間におけるハルペルン反復、近接点法、および関連する変種について、明示的かつ線形の収束速度を導出しており、従来の多項式的収束速度に比べ顕著に改善している。

ABSTRACT

In this note we apply a lemma due to Sabach and Shtern to compute linear rates of asymptotic regularity for Halpern-type nonlinear iterations studied in optimization and nonlinear analysis.

研究の動機と目的

• 非線形解析および最適化におけるハルペルン型反復法の明示的線形漸近的正則性収束速度を導出すること。
• Sabach-Shternの補題の適用範囲を、元来の範囲を超えて、新たなクラスのハルペルン型反復法へ拡張すること。
• 近接点法および関連アルゴリズムの既知の多項式的収束速度を上回る線形収束速度を確立することで、それらを改善すること。
• ヒルバート空間およびCAT(0)空間における凸関数の最小化点を対象とした反復法に対して、定量的な収束保証を提供すること。

提案手法

• SabachとShternの補題1.1を、非負実数およびパラメータ $ a_n = \frac{N}{\gamma(n+J)} $ を含む再帰的不等式を満たす列に適用する。
• もし $ s_{n+1} \leq (1 - \gamma a_{n+1})s_n + (a_n - a_{n+1})c_n $ が成り立つならば、$ s_n \leq \frac{JL}{\gamma(n+J)} $ が得られ、線形減衰が得られる。
• この境界を用いて、$ \alpha_n = 1 - \frac{2}{n+2} $ を用いたハルペルン反復 $ x_{n+1} = (1 - \alpha_n)u + \alpha_n T x_n $ を分析する。
• このフレームワークを、$ \alpha_n = 1 - \frac{2}{n+2} $、$ \gamma_n = \frac{n+2}{n+1} $ を用いたハルペルン型近接点法 $ x_{n+1} = (1 - \alpha_n)u + \alpha_n J_{\gamma_n A}x_n $ に適用する。
• 完全なCAT(0)空間におけるproperな凸下方連続関数の最小化点を対象とし、解像作用素 $ J_{\gamma_n f} $ を用いて結果を拡張する。
• 漸近的正則性、$ T_n $-正則性、$ T_m $-正則性のための明示的収束速度 $ \Phi(k) = 6M(k+1) - 2 $、$ \Phi^*(k) = 10M(k+1) - 2 $、および $ \tilde{\Phi}(k) = 20M(k+1) - 2 $ を導出する。

実験結果

リサーチクエスチョン

• RQ1 Sabach-Shternの補題の元来の適用範囲を超えて、ハルペルン型反復法の線形漸近的正則性収束速度を確立できるか？
• RQ2 ヒルバート空間およびCAT(0)空間におけるハルペルン反復法の明示的線形収束速度は何か？
• RQ3 ハルペルン型近接点法の収束速度は、従来の多項式的収束速度と比べてどう異なるか？
• RQ4 パrameterが変化する $ J_{\gamma_n A} $ および $ J_{\gamma_n f} $ の家族に、このフレームワークを拡張できるか？
• RQ5 パrameter選択 $ \alpha_n = 1 - \frac{2}{n+2} $、$ \gamma_n = \frac{n+2}{n+1} $ が収束速度に与える定量的影響は何か？

主な発見

• パラメータ $ \alpha_n = 1 - \frac{2}{n+2} $ を用いたハルペルン反復において、列 $ (x_n) $ は収束速度 $ \Phi(k) = 6M(k+1) - 2 $ を持つ漸近的正則性を示す。
• 列 $ (x_n) $ は、$ T_n = J_{\gamma_n A} $ を用いた $ (T_n) $-漸近的正則性を、収束速度 $ \Phi^*(k) = 10M(k+1) - 2 $ で持つ。
• 各固定された $ m $ に対して、列 $ (x_n) $ は $ T_m $-漸近的正則性を、収束速度 $ \tilde{\Phi}(k) = 20M(k+1) - 2 $ で持つ。
• これらの線形収束速度は、[16]で得られた同じアルゴリズムに対する多項式的収束速度を顕著に上回る。
• 結果は、ヒルバート空間におけるハルペルン型近接点法、および凸下方連続関数の最小化点を対象とした完全なCAT(0)空間において有効である。
• フレームワークは、同時に強非拡大な家族 $ (J_{\gamma_n A}) $ および $ (J_{\gamma_n f}) $ に適用可能であり、補題1.1の条件を満たすことを保証する。