[論文レビュー] A Primal-Dual Smoothing Framework for Max-Structured Non-Convex Optimization

Renbo Zhao|arXiv (Cornell University)|Mar 9, 2020

Sparse and Compressive Sensing Techniques参考文献 32被引用数 8

ひとこと要約

本稿は、最大構造を有する非凸最適化問題を解くための原双対スムージングフレームワークを提案する。これは、凸・凹な鞍点問題に対して、非ヒルバート型の不正確加速近接勾配法を用いることで、原勾配と双対勾配の両方のオракル複雑度を改善し、この設定で初めての双対ギャップ収束保証を提供する。また、制限された状況において既存手法を上回る性能を示す。

ABSTRACT

We propose a primal-dual smoothing framework for finding a near-stationary point of a class of non-smooth non-convex optimization problems with max-structure. We analyze the primal and dual gradient complexities of the framework via two approaches, i.e., the dual-then-primal and primal-the-dual smoothing approaches. Our framework improves the best-known oracle complexities of the existing method, even in the restricted problem setting. As an important part of our framework, we propose a first-order method for solving a class of (strongly) convex-concave saddle-point problems, which is based on a newly developed non-Hilbertian inexact accelerated proximal gradient algorithm for strongly convex composite minimization that enjoys duality-gap convergence guarantees. Some variants and extensions of our framework are also discussed.

研究の動機と目的

• 非滑らかで非凸な最適化問題における近似停留点の探索という課題に対処すること。
• 統一的な原双対スムージングフレームワークの構築により、既存手法のオラクル複雑度を向上させること。
• 強凸・凹な鞍点問題における、非ヒルバート型の不正確加速近接勾配法の収束保証を確立すること。
• 双対から原へ、および原から双対へのスムージングアプローチを用いて、原および双対勾配の複雑度を分析すること。
• 実用的な収束レートを有する、確率的および構造的最適化設定へのフレームワークの拡張を図ること。

提案手法

• フレームワークは、原双対定式化を用いて、元の最大構造問題を凸・凹な鞍点問題に変換するスムージング技術を導入する。
• 強凸・凹な鞍点問題を解くために、非ヒルバート型の不正確加速近接勾配法を採用し、双対ギャップ収束を保証する。
• 「単純な」正則化子 $ r $ および $ g $ を処理するためのブレグマン近接射影フレームワークを用い、近接ステップの効率的計算を可能にする。
• 二つの複雑度解析経路（双対から原へ、および原から双対へ）を構築し、勾配オラクル使用量のタイトな境界を導出する。
• 最大構造の近似にスムージングパラメータ $ \rho $ を用いることがキーポイントであり、収束は双対ギャップ $ \rho \omega_Y(y) $ に依存する。
• 制御された誤差 $ \eta $ を有する確率的オラクルモデルを導入し、$ \lambda $-強凸性を有する確率的近接ステップを用いることで収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 最大構造を有する非凸問題に対して、既存手法よりも優れたオラクル複雑度を達成できる原双対スムージングフレームワークは存在するか？
• RQ2 非凸で非滑らかな最適化問題における最大構造の下で、原勾配と双対勾配の複雑度の最適なトレードオフは何か？
• RQ3 非ヒルバート型の不正確加速近接勾配法は、凸・凹な鞍点問題において双対ギャップ収束を達成できるか？
• RQ4 既存手法が最適であると知られている制限された設定において、このフレームワークはどのように性能を発揮するか？
• RQ5 確率的および決定的バージョンにおける、近接残差および双対ギャップの収束レートは何か？

主な発見

• フレームワークは、制限された問題設定でさえも、既存手法と比較して改善された原勾配および双対勾配の複雑度境界を達成する。
• 非ヒルバート型の不正確加速近接勾配法は、$ O(1/t) $ のレートで双対ギャップ収束を保証する。ここで $ t $ は反復回数を表す。
• 確率的バージョンでは、期待される近接残差が $ \mathbb{E}[\|\text{prox}(q,x_{\text{out}},\lambda) - x_{\text{out}}\|^2] \leq \varepsilon^2 \lambda^2 / \beta_{\mathcal{X}}^2 $ を満たし、$ \varepsilon $-停留性を保証する。
• 双対ギャップ収束は $ \bar{\Delta}(z_t, \bar{v}_t) \leq \frac{2L_h \Omega_{\omega_{\mathcal{U}}}(u_0)}{A_t} + \frac{\sum_{i=0}^t A_i \delta_i}{A_t} $ で抑えられ、$ A_t $ は再帰的列によって定義される。
• 標準仮定の下で、$ \varepsilon $-停留点を達成するための反復複雑度は $ O(1/\varepsilon^2) $ であり、既知の境界と一致またはそれを上回る。
• 不正確勾配に対してもフレームワークはロバストであり、一次オラクルにおける $ \delta $-誤差の下でも収束が保たれる。