[論文レビュー] An accelerated inexact proximal point method for solving nonconvex-concave min-max problems

Weiwei Kong, Renato D. C. Monteiro|arXiv (Cornell University)|May 31, 2019

Sparse and Compressive Sensing Techniques参考文献 25被引用数 16

ひとこと要約

本稿では、非凸・凸最小最大化問題を解くために、滑らかでない最大項を滑らかな補助関数で近似し、その滑らかに近似された問題に対して加速不正確な近位点法（AIPP）を適用する、加速不正確近位点滑らか化（AIPP-S）法を提案する。主な貢献は、原始的・双対的停留性を達成するためのオракル呼び出し回数の反復複雑度上限を𝒪(ρₓ⁻²ρᵧ⁻¹/²)、方向微分停留性を達成するための上限を𝒪(δ⁻³)として確立したことであり、数値結果によりその有効性が示されている。

ABSTRACT

This paper presents smoothing schemes for obtaining approximate stationary points of unconstrained or linearly-constrained composite nonconvex-concave min-max (and hence nonsmooth) problems by applying well-known algorithms to composite smooth approximations of the original problems. More specifically, in the unconstrained (resp. constrained) case, approximate stationary points of the original problem are obtained by applying, to its composite smooth approximation, an accelerated inexact proximal point (resp. quadratic penalty) method presented in a previous paper by the authors. Iteration complexity bounds for both smoothing schemes are also established. Finally, numerical results are given to demonstrate the efficiency of the unconstrained smoothing scheme.

研究の動機と目的

• 滑らかでない非凸・凸最小最大化問題を、一階法に適した滑らかな近似問題に変換する滑らか化スキームの開発を目的とする。
• 非制約および線形制約付き設定における、近似原始的・双対的停留点を達成するための反復複雑度上限の確立を目的とする。
• 滑らか化およびペナルティ技法を用いて、加速不正確近位点法を合成非凸・凸問題に拡張することを目的とする。
• 非制約および制約付き定式化の両方において、オラクル複雑度の観点から収束速度の理論的保証を提供することを目的とする。

提案手法

• 最小最大化問題における最大項を、摂動された双対定式化を用いて滑らかな近似に置き換える滑らか化スキームを導入する。
• 滑らかに近似された合成問題に対して、∇ₓΦ、h、および近位点演算子の評価に効率的なオラクルへのアクセスを活用した、加速不正確近位点（AIPP）法を適用する。
• 原始的・双対的定式化を用いて、(ρₓ, ρᵧ)-停留性を定義し、原始変数および双対変数における有界な部分勾配を保証する。
• 制約付き問題では、線形制約を処理するために二次ペナルティ法を用い、ペナルティ部分問題を滑らかな補助関数で近似する。
• 滑らか化パラメータ、ペナルティパラメータ、および近位部分問題の解の精度の間の相互作用を分析することで、複雑度上限を導出する。
• Φ(·,y) + m‖·‖²/2 の凸性とその勾配のリプシッツ連続性を保証する仮定に依存し、滑らか化が可能である。

実験結果

リサーチクエスチョン

• RQ1 滑らか化を用いて、加速不正確近位点法を非凸・凸最小最大化問題に適応できるか？
• RQ2 非制約ケースにおいて、(ρₓ, ρᵧ)-原始的・双対的停留性に到達するための反復複雑度は何か？
• RQ3 方向微分条件を用いて、より良い複雑度上限を持つより弱い停留性の概念を定義できるか？
• RQ4 二次ペナルティ法を滑らか化およびAIPPと組み合わせることで、線形制約付き非凸・凸最小最大化問題を解けるか？
• RQ5 制約付き停留性に到達するための、QPAIPP-Sスキームのオラクル複雑度は何か？

主な発見

• 非制約問題において、AIPP-Sスキームは𝒪(ρₓ⁻²ρᵧ⁻¹/²)回のオラクル呼び出しで(ρₓ, ρᵧ)-原始的・双対的停留性に到達する。
• 代替的なAIPP-Sバージョンは、inf‖d‖≤1 p′(x;d) ≥ -δ かつ ‖x - x̂‖ ≤ δ を満たす点xを𝒪(δ⁻³)回のオラクル呼び出しで計算する。
• 線形制約付き問題において、QP-AIPP-Sスキームは𝒪(ρₓ⁻²ρᵧ⁻¹/²η⁻¹)回のオラクル呼び出しで、停留性条件を満たす五重組を計算する。
• 滑らか化と強い凸性を介して、方向微分停留性と近位停留性の間の関係を確立する。
• 数値結果により、非制約滑らか化スキームの実用的有効性が確認される。
• 理論的分析により、滑らか化がΦおよびhに関する適切な正則性条件の下で、AIPP法の収束特性を保つことが示される。