[論文レビュー] From Contraction Theory to Fixed Point Algorithms on Riemannian and Non-Euclidean Spaces

Francesco Bullo, Pedro Cisneros‐Velarde+2 more|arXiv (Cornell University)|Oct 7, 2021

Control and Stability of Dynamical Systems参考文献 18被引用数 3

ひとこと要約

本稿では、弱ペアリングと行列のノルムを導入することで、ユークリッド空間、リーマン空間、非ユークリッド空間（特に ℓ1 および ℓ∞ 範囲）における収縮理論と固定点アルゴリズムを統一する。明示的および陰的固定点スキームの収束因子を確立し、非ユークリッド設定における最適ステップサイズと収縮率がユークリッド設定とは顕著に異なることを示し、ℓ1 および ℓ∞ 範囲に対して明示的な結果を提示するとともに、加速および非滑らか拡張に関する予想を提示する。

ABSTRACT

The design of fixed point algorithms is at the heart of monotone operator theory, convex analysis, and of many modern optimization problems arising in machine learning and control. This tutorial reviews recent advances in understanding the relationship between Demidovich conditions, one-sided Lipschitz conditions, and contractivity theorems. We review the standard contraction theory on Euclidean spaces as well as little-known results for Riemannian manifolds. Special emphasis is placed on the setting of non-Euclidean norms and the recently introduced weak pairings for the $\ell_1$ and $\ell_\infty$ norms. We highlight recent results on explicit and implicit fixed point schemes for non-Euclidean contracting systems.

研究の動機と目的

• ユークリッド空間、リーマン空間、非ユークリッド空間（特に ℓ1 および ℓ∞ 範囲）における収縮理論と固定点アルゴリズムを統一すること。
• 滑らかでないリーマン多様体を超えて、弱ペアリングを用いて滑らかでない多面体的ノルム（例：ℓ1, ℓ∞）へ収縮理論を拡張すること。
• 非ユークリッド設定における明示的および陰的固定点スキームの収束因子と最適ステップサイズを明示的に導出すること。
• 非ユークリッド空間におけるデミドビチ条件、片側リプシッツ条件、収縮定理との関係を確立すること。
• 非滑らかベクトル場の加速および収束に関する未解決の予想を提示することで、今後の研究を促進すること。

提案手法

• 滑らかでない多面体的ノルム（例：ℓ1, ℓ∞）に対して収縮理論を一般化するために、弱ペアリング（WPs）を用いる。これにより、微分不能なシステムの解析が可能になる。
• 非ユークリッドノルム下での収縮率を定量化するために、行列のノルム µp,R(A) = µp(RAR−1) を適用する。µ1 および µ∞ はそれぞれ符号に基づく不等式および最大値に基づく不等式で定義される。
• 微分片側リプシッツ（d-osL）条件を用いて、明示的オイラー、明示的エクストラグラデント、および陰的オイラースキームの収束境界を導出する。
• 上部右Dini微分 D+ を用いて、軌道間の距離の増分的安定性および指数的減衰を分析する。
• 陰的オイラースキーム xk+1 = xk + αf(xk+1) を用い、c-強収縮の下で収縮因子 (1 + αc)−1 を持つことを示す。
• 陰的方程式を解くためにニュートン・ラプソン反復を適用し、αℓ < 1 の下で局所的2次収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 弱ペアリングを用いて、ℓ1 や ℓ∞ などの非ユークリッドノルムにおける収縮理論をどのように一般化できるか。
• RQ2 ℓ1 および ℓ∞ ノルムにおける明示的および陰的固定点スキームの最適ステップサイズと収縮因子は何か。
• RQ3 非ユークリッド空間における収束速度は、ユークリッド空間におけるものと比べてどのように異なるか。特に明示的およびエクストラグラデント法において。
• RQ4 陰的スキームのためのニュートン・ラプソン反復の収束を、局所的ではなくグローバルに保証できるか。
• RQ5 非ユークリッド空間における固定点アルゴリズムの加速の可能性は何か。また、最適収束因子は κ に反比例してスケーリングされるか、すなわち 1 − 1/κ の形で表れるか。

主な発見

• ℓ1 ノルムにおいて、明示的オイラー法の最適ステップサイズは α∗_nE = 1/c(1/(2κ²) − 3/(8κ³) + O(1/κ⁴)) であり、最小収縮因子は ℓ∗_nE = 1 − 1/(4κ²) + 1/(8κ³) + O(1/κ⁴) である。これはユークリッドの場合に比べて2倍の因子および高次項で劣っている。
• 弱ペアリング空間における陰的オイラー法は、任意の α > 0 に対して収縮写像であり、収縮因子が (1 + αc)−1 であるため、唯一の平衡点へのグローバル収束が保証される。
• エクストラグラデント法において α = 1/(2cκ√κ) をとると、収束因子は 1 − 3/(8κ√κ) + O(1/κ³) となり、標準的な明示的手法よりも加速された収束を示す。
• A = [[-10, 2.5], [9, -3]] である系 ẋ = Ax + b は、µ2(A) = 0.231 > 0 であるため ℓ2 では収縮しないが、ℓ1 では強収縮率 0.5 および ∥A∥1 = 12.5 を持つため、定理8により収束が可能である。
• 陰的方程式を解くためのニュートン・ラプソン反復は、αℓ < 1 かつ初期条件が有界であれば2次収束を示すが、グローバル収束については未解決の予想のままである。
• 本稿では、強い単調作用素と強い凸関数の勾配場が、適切な符号およびノルム変換の下で、強い収縮ベクトル場と同値であることを確立した。