[論文レビュー] Adaptive Single-Loop Methods for Stochastic Minimax Optimization on Riemannian Manifolds

Hongye Wang, He Chang+1 more|arXiv (Cornell University)|Feb 10, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

この論文は、リーマン多様体上の確率的ミニマックス最適化のための2つの適応型単一ループ法（RAGDAとRSAGDA）を導入し、パラメータフリーの更新と以下の反復複雑性界を証明する。決定論的には O(ε^{-2})、確率的には O(ε^{-6})（二次微分の滑らかさを仮定すると O(ε^{-4}) に改善）である。

ABSTRACT

Stochastic minimax optimization on Riemannian manifolds has recently attracted significant attention due to its broad range of applications, such as robust training of neural networks and robust maximum likelihood estimation. Existing optimization methods for these problems typically require selecting stepsizes based on prior knowledge of specific problem parameters, such as Lipschitz-type constants and (geodesic) strong concavity constants. Unfortunately, these parameters are often unknown in practice. To overcome this issue, we develop single-loop adaptive methods that automatically adjust stepsizes using cumulative Riemannian (stochastic) gradient norms. We first propose a deterministic single-loop Riemannian adaptive gradient descent ascent method and show that it attains an $ε$-stationary point within $O(ε^{-2})$ iterations. This deterministic method is of independent interest and lays the foundation for our subsequent stochastic method. In particular, we propose the Riemannian stochastic adaptive gradient descent ascent method, which finds an $ε$-stationary point in $O(ε^{-6})$ iterations. Under additional second-order smoothness, this iteration complexity is further improved to $O(ε^{-4})$, which even outperforms the corresponding complexity result in Euclidean space. Some numerical experiments on real-world applications are conducted, including the regularized robust maximum likelihood estimation problem, and the robust training of neural networks with orthonormal weights. The results are encouraging and demonstrate the effectiveness of adaptivity in practice.

研究の動機と目的

• 問題のパラメータが未知であるか、推定が難しいリーマン多様体上のミニマックス最適化に対処する。
• 累積勾配ノルムを用いて自動的にステップサイズを調整する適応的な単一ループアルゴリズムを開発する。
• 決定論的および確率的設定の両方について収束保証と反復複雑性を確立する。
• 直交正規化重みを用いたロバストMLEおよびニューラルネットワーク訓練への実用的有効性を示す。

提案手法

• Deterministic 問題のための Riemannian Adaptive Gradient Descent Ascent (RAGDA) を単一ループ更新で提案。
• 確率的勾配を使用する stochastic 問題のための Riemannian Stochastic Adaptive Gradient Descent Ascent (RSAGDA) に拡張。
• 累積二乗勾配ノルム v_t^x と v_t^y を用いて η_t と γ_t を α, β のべき乗と共に適応学習率として用いる。
• 更新規則: x_{t+1} = Retr_{x_t}(-_η_t g^x_t) および y_{t+1} = Retr_{y_t}(γ_t g^y_t) で、 η_t = η^x / max{v_t^{x}, v_t^{y}}^{α} および γ_t = η^y / (v_t^{y})^{β}。
• 計算効率を向上させるために指数写像の置換としてリトラクションを使用。
• 標準的な滑らかさ仮定と測地関数の凹性仮定、加えてリトラクションの精度条件の下で理論的保証を提供。

実験結果

リサーチクエスチョン

• RQ1 問題パラメータの知識なしで、リーマン多様体上の確率的ミニマックス問題に対して適応的単一ループ法は ε-stationary 収束を達成できるか。
• RQ2 適応ステップサイズを用いた決定論的および確率的リーマン minimax 最適化の反復複雑性の境界は何か。
• RQ3 確率的設定における二次微分滑らかさは収束速度にどう影響するか。
• RQ4 多様体上のロバスト学習タスクにおいて、パラメータ依存ベースラインより適応法が優れているか。

主な発見

• RAGDA は決定論的問題に対して ε-stationary 点を O(ε^{-2}) 回の反復で達成する。
• RSAGDA は確率的設定において ε-stationary 点を O(ε^{-6}) 回の反復で見つける。
• 追加の二次微分滑らかさがある場合、RSAGDA は O(ε^{-4}) 反復へ改善する。
• 適応法はリプシッツ条件や強く凹性などの問題定数への依存を排除する。
• 正規直交重みによるロバストMLEおよびロバストなニューラルネットワーク訓練の経験的評価は適応性の有効性を示す。