[논문 리뷰] From Contraction Theory to Fixed Point Algorithms on Riemannian and Non-Euclidean Spaces

Francesco Bullo, Pedro Cisneros‐Velarde외 2명|arXiv (Cornell University)|2021. 10. 07.

Control and Stability of Dynamical Systems참고 문헌 18인용 수 3

한 줄 요약

이 논문은 약한 쌍체(pairings)와 행렬 측도를 도입하여 유클리드, 리만, 비유클리드 공간—특히 ℓ1 및 ℓ∞ 노름—에서 수축 이론과 고정점 알고리즘을 통합한다. 명시적 및 암시적 고정점 스킴의 수렴 인자를 수립하며, 비유클리드 설정에서 최적의 스텝 사이즈와 수축 속도가 유클리드 해법과 상당히 다름을 보이며, ℓ1 및 ℓ∞ 노름에 대해 명시적인 결과를 제시하고 가속화 및 비미분 가능 확장에 대한 추측을 제기한다.

ABSTRACT

The design of fixed point algorithms is at the heart of monotone operator theory, convex analysis, and of many modern optimization problems arising in machine learning and control. This tutorial reviews recent advances in understanding the relationship between Demidovich conditions, one-sided Lipschitz conditions, and contractivity theorems. We review the standard contraction theory on Euclidean spaces as well as little-known results for Riemannian manifolds. Special emphasis is placed on the setting of non-Euclidean norms and the recently introduced weak pairings for the $\ell_1$ and $\ell_\infty$ norms. We highlight recent results on explicit and implicit fixed point schemes for non-Euclidean contracting systems.

연구 동기 및 목표

• 유클리드, 리만, 비유클리드 공간—특히 ℓ1 및 ℓ∞ 노름에 대해—수축 이론과 고정점 알고리즘을 통합하는 것.
• 약한 쌍체를 사용해 부드러운 리만 다양체를 초월해 비미분 가능하고 다각형 노름에 대한 수축 이론을 확장하는 것.
• 비유클리드 설정에서 명시적 및 암시적 고정점 스킴의 명시적 수렴 인자와 최적 스텝 사이즈를 유도하는 것.
• 비유클리드 공간에서 Demidovich 조건, 한쪽 방향 리만드 조건, 수축 정리 간의 연결 고리를 설정하는 것.
• 비미분 가능 벡터장에 대한 가속화 및 수렴에 대한 개방된 추측을 제시하여 향후 연구를 자극하는 것.

제안 방법

• 비미분 가능하고 다각형 노름(예: ℓ1 및 ℓ∞)에 대해 수축 이론을 일반화하기 위해 약한 쌍체(WPs)를 사용하여 비미분 가능 시스템의 분석을 가능하게 한다.
• 비유클리드 노름 하에서 수축 속도를 정량화하기 위해 행렬 측도 µp,R(A) = µp(RAR−1)를 적용하며, µ1 및 µ∞는 부호 기반 및 최대 기반 부등식으로 정의된다.
• 미분 한쪽 방향 리만드 조건(d-osL)을 사용하여 명시적 오일러, 명시적 외삽법, 암시적 오일러 스킴의 수렴 경계를 도출한다.
• 상위 오른쪽 Dini 도함수 D+를 사용해 궤도 간 거리의 증가 안정성과 지수 감쇠를 분석한다.
• 암시적 오일러 스킴 xk+1 = xk + αf(xk+1)를 사용하며, c-강한 수축 조건 하에서 수축 인자가 (1 + αc)−1임을 보여주어 유일한 평형점으로의 전역 수렴을 보장한다.
• 암시 방정식을 풀기 위해 뉴턴-라프슨 반복을 적용하며, αℓ < 1 조건 하에서 국소 2차 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 약한 쌍체를 사용해 ℓ1 및 ℓ∞ 노름과 같은 비유클리드 노름으로 수축 이론을 어떻게 일반화할 수 있는가?
• RQ2 ℓ1 및 ℓ∞ 노름에서 명시적 및 암시적 고정점 스킴에 대한 최적의 스텝 사이즈와 수축 인자는 무엇인가?
• RQ3 비유클리드 공간에서의 수렴 속도는 유클리드 공간의 경우와 비교해 어떻게 다른가, 특히 명시적 및 외삽법에서의 경우에 대해 어떻게 되는가?
• RQ4 암시적 스킴에 대한 뉴턴-라프슨 반복의 수렴이 국소적 수렴 외에도 전역적으로 보장될 수 있는가?
• RQ5 비유클리드 공간에서 고정점 알고리즘의 가속화 잠재력은 무엇이며, 최적 수렴 인자가 1 − 1/κ 비례로 스케일링되는가?

주요 결과

• ℓ1 노름에서 명시적 오일러의 최적 스텝 사이즈는 α∗_nE = 1/c(1/(2κ²) − 3/(8κ³) + O(1/κ⁴))이며, 최소 수축 인자는 ℓ∗_nE = 1 − 1/(4κ²) + 1/(8κ³) + O(1/κ⁴)이다. 이는 유클리드 경우보다 약 2배 이상 열 劣하며 고차항까지 포함된다.
• 약한 쌍체 공간에서의 암시적 오일러 방법은 임의의 α > 0 에 대해 수축 사상이며 수축 인자가 (1 + αc)−1이므로 전역 수렴이 보장된다.
• 외삽법의 경우 α = 1/(2cκ√κ)일 때 수렴 인자는 1 − 3/(8κ√κ) + O(1/κ³)이며, 표준 명시적 방법보다 가속화된 수렴을 보인다.
• 행렬 A = [[-10, 2.5], [9, -3]] 인 시스템 ẋ = Ax + b 는 µ2(A) = 0.231 > 0 이므로 ℓ2 하에서 수축하지 않지만, ℓ1 하에서 수축 속도 0.5와 ∥A∥1 = 12.5 로 강한 수축을 보이며, 이는 정리 8에 의해 수렴 가능함을 보여준다.
• 암시 방정식을 풀기 위한 뉴턴-라프슨 반복은 αℓ < 1 이고 초기 조건이 유계CloseOperation에서 2차 수렴을 보이지만, 전역 수렴은 여전히 개방된 추측이다.
• 논문은 강한 단조성 연산자와 강한 볼록 함수의 그래디언트 필드가 적절한 부호 및 노름 변환 하에서 강한 수축 벡터장과 동치임을 확립한다.