[論文レビュー] Oracle Complexity of Single-Loop Switching Subgradient Methods for Non-Smooth Weakly Convex Functional Constrained Optimization

Yankun Huang, Qihang Lin|arXiv (Cornell University)|Jan 30, 2023

Advanced Optimization Algorithms Research被引用数 4

ひとこと要約

本稿は、非滑らかで弱凸な目的関数制約付き最適化における単一ループ切り替え勾配降下法（SSG）の最初のオракル複雑度解析を確立し、固定ステップサイズとポリャク型ステップサイズを組み合わせた新たな適応的ステップサイズ規則を導入することで、近似的に実行可能であることを維持し、ε-停留点への収束を保証する。その結果、$O(1/\epsilon^4)$ の複雑度を達成し、二重ループ手法と同等の性能を示す。

ABSTRACT

We consider a non-convex constrained optimization problem, where the objective function is weakly convex and the constraint function is either convex or weakly convex. To solve this problem, we consider the classical switching subgradient method, which is an intuitive and easily implementable first-order method whose oracle complexity was only known for convex problems. This paper provides the first analysis on the oracle complexity of the switching subgradient method for finding a nearly stationary point of non-convex problems. Our results are derived separately for convex and weakly convex constraints. Compared to existing approaches, especially the double-loop methods, the switching gradient method can be applied to non-smooth problems and achieves the same complexity using only a single loop, which saves the effort on tuning the number of inner iterations.

研究の動機と目的

• 非滑らかで弱凸な制約付き最適化における単一ループの最適勾配法の理論的理解のギャップを埋めること。
• 目的関数と制約関数がともに弱凸で非滑らかである非凸な設定下で、古典的な切り替え勾配降下法（SSG）のオラクル複雑度を分析すること。
• 内側ループのチューニングを必要とせず、近似的に実行可能であることを保証するとともに、ε-停留点への収束を確実にするステップサイズ規則を開発すること。
• 単一ループ SSG が、実装がより簡単であるにもかかわらず、最先端の二重ループ手法と同等の $O(1/\epsilon^4)$ の複雑度を達成できることを示すこと。
• 公平な分類にデモグラフィックパリティ制約を適用する実用的問題への適用を検証すること。

提案手法

• 目的関数と制約関数の部分勾配を切り替える新しい適応的ステップサイズ規則を用いた切り替え勾配降下法を提案する。
• 目的関数の部分勾配による更新には固定ステップサイズを、制約関数の部分勾配による更新には適応的ポリャク型ステップサイズを用いる。
• 不実行性を制御し収束を保証するために、制約関数に局所的誤差バインディング条件を導入する。
• 各反復で制約違反に基づくスイッチング基準を用いて、どの部分勾配を用いるかを動的に選択する。
• 凸制約と弱凸制約の両方の設定下で、条件付き制約資格条件を満たす場合に分析を実施する。
• 付録では確率的設定への拡張を行い、同様の複雑度バウンドが成り立つことを示す。

実験結果

リサーチクエスチョン

• RQ1 切り替え勾配降下法は、非滑らかで弱凸な制約付き最適化において $O(1/\epsilon^4)$ のオラクル複雑度を達成できるか？
• RQ2 提案された適応的ステップサイズ規則は、内側ループのチューニングを必要とせず、近似的に実行可能であり、ε-停留点への収束を保証できるか？
• RQ3 単一ループ SSG の複雑度は、非滑らかで非凸な設定下で既存の二重ループ手法と比べてどうか？
• RQ4 SSG 法はどのような条件下で近似的に実行可能を維持し、不実行な停留点に閉じ込められるのを避けるか？
• RQ5 この手法は、デモグラフィックパリティ制約を伴う公平な分類のような実用的問題に適用可能か？

主な発見

• 制約関数が凸である場合、切り替え勾配降下法は ε-停留点を求めるために $O(1/\epsilon^4)$ のオラクル複雑度を達成する。
• 制約関数が弱凸であり、適切な制約資格条件が満たされている場合、同様に $O(1/\epsilon^4)$ の複雑度が達成される。
• 目的関数更新には固定ステップサイズ、制約関数更新にはポリャク型ステップサイズを用いる適応的ステップサイズ規則は、近似的に実行可能を保証し、収束を可能にする。
• 二重ループ手法とは異なり、内側ループの反復回数のチューニングを必要としないため、実装がより簡単である。
• 数値結果により、収束速度と実行可能性の面で二重ループ手法と同等の性能を示し、1反復あたりの効率性が優れていることが確認された。
• 仮定が満たされる限り、公平な分類におけるデモグラフィックパリティ制約下の実世界問題への適用が可能である。