[論文レビュー] Revisiting Superlinear Convergence of Proximal Newton-Like Methods to Degenerate Solutions

Ching-pei Lee, Stephen J. Wright|arXiv (Cornell University)|Feb 11, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

本論文は、劣化正則化最適化と一般化方程式に対して、 Hölder誤差界下で超線形収束を証明する非厳密 proximal-Newton様法を開発し、Maratos効果を回避しつつグローバライズ戦略を導入して global convergence を保証する。

ABSTRACT

We describe inexact proximal Newton-like methods for solving degenerate regularized optimization problems and for the broader problem of finding a zero of a generalized equation that is the sum of a continuous map and a maximal monotone operator. Superlinear convergence for both the distance to the solution set and a certain measure of first-order optimality can be achieved under a Hölderian error bound condition, including for problems in which the continuous map is nonmonotone, with Jacobian singular at the solution and not Lipschitz. Superlinear convergence is attainable even when the Jacobian is merely uniformly continuous, relaxing the standard Lipschitz assumption to its theoretical limit. For convex regularized optimization problems, we introduce a novel globalization strategy that ensures strict objective decrease and avoids the Maratos effect, attaining local $Q$-superlinear convergence without prior knowledge of problem parameters. Unit step size acceptance in our line search strategy does not rely on continuity or even existence of the Hessian of the smooth term in the objective, making the framework compatible with other potential candidates for superlinearly convergent updates.

研究の動機と目的

• 劣化正則化最適化および一般化方程式を解くための proximal-Newton様法の動機付けと分析。
• 非単調なヤコビ行列や Lipschitz連続でない平滑部があっても、 Hölderian 誤差境界条件の下で超線形収束を確立。
• 広い条件下での単位ステップサイズ受理を可能にし、Maratos効果を回避する convex 正規化問題のグローバライズ戦略を開発。
• 連続性やヘッセ行列の存在を要求せず、より広い適用性を可能にするグローバライズ戦略の実証。

提案手法

• 一般化方程式 (A+B)(x)=0 に対するニュートン様スケーリングを用いた減衰付き前向き後向きフレームワークを研究。
• 更新を近似するために mu_t Id + J_t を用いる可変計量 H_t を導入し、mu_t = c r(x_t)^ρ、J_t は ∇A(x_t) を近似。
• 誤差境界 dist(x,S) ≤ κ r(x)^q を課し、残差 r(x_t) と解集合までの距離の R-および Q-超線形収束を分析。
• 近似的な次イテレートを許容しつつ収束を保つ不完全性条件を導入。
• 正規化最適化 F(x)=f(x)+Ψ(x) に特化し、F のグローバル降下と広い条件下での単一步受理を保証するグローバライズ戦略を導出。
• ヒルベルト空間における一般化方程式設定を記述し、更新において非エルミートヤコビを許容。

実験結果

リサーチクエスチョン

• RQ1 paper が検討する具体的な研究質問を2–5件
• RQ2 Key Findings
• RQ3 - Hölder誤差境界条件の下で、ヤコビ行列が縮退している場合や一様連続であるだけでも、残差と解集合までの距離の両方に対して Proximal-Newton様法が超線形収束を達成。
• RQ4 - ヤコビのリプシッツ連続性を要求せずにニュートン様スケーリングを備えた減衰付き可変計量前向き後向きスキームは超線形を維持。
• RQ5 - 凸正規化問題の新規グローバライズ戦略は、Maratos効果を回避しつつ global convergence、厳密な目的関数の減少、単位ステップ受理を保証。
• RQ6 - 線探索フレームワークは、正規化問題の目的値 F に対して Q-超線形収束を生み出し、従来知られていた結果を超える。
• RQ7 - ヒルベルト空間の一般化方程式設定への適用拡大を示し、非エルミートヤコビおよび広範な滑らか性仮定に対応。
• RQ8 - 指数 p, q, ρ の明示的条件を提供し、R-および Q-超線形収束の範囲を広げ、従来の結果を拡張。

主な発見

• Hölder誤差境界の下で、∇A が特異であってもまたは一様連続であるだけでも、残差と解までの距離に対して超線形収束を確立。
• ヘッセ行列の連続性を要求せずに、マルゴタス効果を避けつつ目的関数の減少と単一步受理を保証する線探索によるグローバライズ戦略。
• 凸正規化問題に対して、戦略は F の Q-超線形収束を生み出し、ヘッセ行列の Hölder 連続性または一様連続性の下で高速な局所収束を達成。
• 非エルミートヤコビを持つ A+B の一般化方程式へフレームを拡張し、古典的滑らかさ仮定を超える適用性を拡大。
• 本論文は p, q, ρ の明示的パラメータ範囲を提供し、R-および Q-超線形収束の発生を決定し、既知の範囲を拡張。