[논문 리뷰] Linear rates of asymptotic regularity for Halpern-type iterations

Horaţiu Cheval, Laurenţiu Leuştean|arXiv (Cornell University)|2023. 03. 09.

Optimization and Variational Analysis인용 수 5

한 줄 요약

이 논문은 Sabach와 Shtern의 보조정리에 기반하여 비선형 해석학과 최적화에서 Halpern 유형 반복의 점근적 정규성에 대해 선형 수렴 속도를 확립한다. 힐버트 공간과 CAT(0) 공간에서 Halpern 반복, 프록시멀 포인트 알고리즘 및 관련 변형에 대해 명시적이고 선형 수렴 속도를 도출하며, 이는 이전의 다항식 수렴 속도에 비해 크게 향상된다.

ABSTRACT

In this note we apply a lemma due to Sabach and Shtern to compute linear rates of asymptotic regularity for Halpern-type nonlinear iterations studied in optimization and nonlinear analysis.

연구 동기 및 목표

• 비선형 해석학과 최적화에서 Halpern 유형 반복의 명시적 선형 점근적 정규성 수렴 속도를 유도하는 것.
• Sabach-Shtern 보조정리의 적용 범위를 원래 범위를 초월하여 새로운 유형의 Halpern 유형 반복에까지 확장하는 것.
• 프록시멀 포인트 및 관련 알고리즘에 대해 이전에 알려진 다항식 수렴 속도를 초월하여 선형 수렴 속도를 확립함으로써 이를 향상시키는 것.
• 힐베르트 공간과 CAT(0) 공간에서 볼록 함수의 최소화자에 대해 반복 방법의 정량적 수렴 보장을 제공하는 것.

제안 방법

• Sabach와 Shtern의 보조정리 1.1을 비음수 실수와 파rameter $ a_n = \frac{N}{\gamma(n+J)} $를 포함하는 재귀 부등식을 만족하는 수열에 적용한다.
• 만약 $ s_{n+1} \leq (1 - \gamma a_{n+1})s_n + (a_n - a_{n+1})c_n $ 이면 $ s_n \leq \frac{JL}{\gamma(n+J)} $ 임을 증명하여 선형 감쇠를 이끌어낸다.
• 이 경계를 사용하여 $ \alpha_n = 1 - \frac{2}{n+2} $ 인 Halpern 반복 $ x_{n+1} = (1 - \alpha_n)u + \alpha_n T x_n $ 를 분석한다.
• 이 틀을 Halpern 유형 프록시멀 포인트 알고리즘 $ x_{n+1} = (1 - \alpha_n)u + \alpha_n J_{\gamma_n A}x_n $ 에 적용하며, $ \alpha_n = 1 - \frac{2}{n+2} $, $ \gamma_n = \frac{n+2}{n+1} $ 이다.
• 완전한 CAT(0) 공간에서 볼록 하중 함수의 최소화자에 대해 잠재함수의 해를 이용한 해를 확장한다.
• 점근적 정규성, $ T_n $-정규성, $ T_m $-정규성에 대해 각각 $ \Phi(k) = 6M(k+1) - 2 $, $ \Phi^*(k) = 10M(k+1) - 2 $, 및 $ \tilde{\Phi}(k) = 20M(k+1) - 2 $ 의 명시적 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 Sabach-Shtern 보조정리의 원래 범위를 초월하여 Halpern 유형 반복에 대해 선형 수렴 속도를 확립할 수 있는가?
• RQ2 힐베르트 공간과 CAT(0) 공간에서 Halpern 반복에 대해 명시적 선형 수렴 속도를 도출할 수 있는가?
• RQ3 Halpern 유형 프록시멀 포인트 알고리즘의 수렴 속도는 이전의 다항식 수렴 속도와 비교하여 어떻게 되는가?
• RQ4 이 틀은 매개수 $ \gamma_n $ 가 변화하는 $ J_{\gamma_n A} $ 및 $ J_{\gamma_n f} $ 의 가족으로 확장될 수 있는가?
• RQ5 매개수 선택 $ \alpha_n = 1 - \frac{2}{n+2} $, $ \gamma_n = \frac{n+2}{n+1} $ 이 수렴 속도에 미치는 정량적 영향은 무엇인가?

주요 결과

• 매개수 $ \alpha_n = 1 - \frac{2}{n+2} $ 인 Halpern 반복에 대해 수열 $ (x_n) $ 은 수렴 속도 $ \Phi(k) = 6M(k+1) - 2 $ 를 갖는 점근적 정규성을 갖는다.
• 수열 $ (x_n) $ 은 $ T_n = J_{\gamma_n A} $ 인 $ (T_n) $-점근적 정규성을 수렴 속도 $ \Phi^*(k) = 10M(k+1) - 2 $ 를 통해 갖는다.
• 각 고정된 $ m $ 에 대해 수열 $ (x_n) $ 은 수렴 속도 $ \tilde{\Phi}(k) = 20M(k+1) - 2 $ 를 갖는 $ T_m $-점근적 정규성을 갖는다.
• 이 선형 수렴 속도는 [16]에서 이전에 확보된 다항식 수렴 속도를 크게 향상시킨다.
• 결과는 힐베르트 공간에서 Halpern 유형 프록시멀 포인트 알고리즘과 볼록 하중 함수의 최소화자에 대해 완전한 CAT(0) 공간에서 성립한다.
• 이 틀은 함께 강한 비확장성 가족 $ (J_{\gamma_n A}) $ 과 $ (J_{\gamma_n f}) $ 에 적용되며, Lemma 1.1 의 조건을 충족시킴을 보장한다.