[論文レビュー] A FISTA-type accelerated gradient algorithm for solving smooth nonconvex composite optimization problems

Jiaming Liang, Renato D. C. Monteiro+1 more|arXiv (Cornell University)|May 16, 2019

Sparse and Compressive Sensing Techniques参考文献 27被引用数 6

ひとこと要約

本稿は、滑らかな非凸合成最適化問題を解くための2つの加速合成勾配（ACG）変種を提案する。FISTAを非凸設定に拡張したものであり、最初の変種は曲率ペア (M, m) を必要とするが、凸ケースではFISTAに還元される。2番目の変種は任意の (M, m) 入力を扱い、特に M が真の M̄ より小さい場合に、より良好または同等の反復複雑性を達成する。実験的性能の向上が得られ、反復ごとに1回の解像度評価（対数的バウンデッドな例外を除く）で実現される。

ABSTRACT

In this paper, we describe and establish iteration-complexity of two accelerated composite gradient (ACG) variants to solve a smooth nonconvex composite optimization problem whose objective function is the sum of a nonconvex differentiable function $ f $ with a Lipschitz continuous gradient and a simple nonsmooth closed convex function $ h $. When $f$ is convex, the first ACG variant reduces to the well-known FISTA for a specific choice of the input, and hence the first one can be viewed as a natural extension of the latter one to the nonconvex setting. The first variant requires an input pair $(M,m)$ such that $f$ is $m$-weakly convex, $ abla f$ is $M$-Lipschitz continuous, and $m \le M$ (possibly $m

研究の動機と目的

• 本稿の目的は、収束保証と反復複雑性を備えた非凸設定へのFISTAの拡張である。
• 既存のACG手法が必要な正確な曲率ペア (M, m) の推定がしばしば困難であるという課題に対処する。
• 2番目の変種は、任意の (M, m) 入力で動作するように設計されており、ロバスト性と性能が向上する。
• 目的には、特に m ∈ [m̄, M̄] の場合に、既存手法と同等またはそれを上回る反復複雑性バウンドを確立することを含む。
• 非凸問題、特に非負行列分解を含む数値的妥当性の検証が行われ、実用的効率を示す。

提案手法

• 最初のACG変種は、m-弱凸性とM-Lipschitz勾配を満たす曲率ペア (M, m) を用いたモーメンタムベースの更新により、FISTAを非凸問題に拡張する。
• 2番目の変種、ADAP-NC-FISTAは、パラメータを動的に調整し、(2)および(4)を満たす必要がないため、悪い推定値に対してもロバスト性を有する。
• 両手法とも、反復ごとに正確に1回のhの解像度評価を行うが、対数的バウンデッドな少数の例外を除く。
• アルゴリズムは、目的関数の十分な減少を保証するバックトラッキングに類似した線分探索戦略を用いる。
• 非凸な形状における収束行動の改善を図るため、非単調な線分探索を組み込む。
• 理論的分析により、O(M̄d₀²/ρ² + (Md₀/ρ)²ᐟ³ + M̄m̄Dₕ²/ρ²) の形をした反復複雑性バウンドを確立し、特定の状況下で先行研究を改善する。

実験結果

リサーチクエスチョン

• RQ1 FISTA風の加速は、反復複雑性の保証を維持したまま、非凸合成問題に拡張可能か？
• RQ2 提案された2番目のACG変種は、入力曲率ペア (M, m) が最適でないか、誤って推定された場合でも、複雑性バウンドを維持または改善できるか？
• RQ3 1回の解像度評価で十分な反復回数に、非凸設定におけるグローバル収束と加速を保証できるか？
• RQ4 非負行列因子分解のような実世界の応用において、新しいACG変種はANLSなどの既存手法と比較してどのように性能を発揮するか？
• RQ5 M < M̄ を選ぶと、2番目の変種の実用的性能にどのような影響を与えるか？

主な発見

• 2番目のACG変種、ADAP-NC-FISTAは、最初の変種と同等またはより良好な反復複雑性を達成し、特に M が真の M̄ より小さい場合に顕著に優れる。
• m ∈ [m̄, M̄] の場合、2番目の変種の複雑性は、M = M̄ とした最初の変種と同様の挙動を示し、入力選択に対するロバスト性を示唆する。
• 非負行列因子分解（NMF）において、ADはANLSを上回り、28反復、4.6秒で関数値2.80×10⁹を達成した。一方ANLSは1000反復、137.6秒を要した。
• AD法は4.6秒で相対残差10⁻⁷に到達し、収束速度の優位性を示した。
• 2番目の変種は、対数的バウンデッドな反復数を除き、すべての反復で1回の解像度評価のみを実行し、計算効率を確保した。
• 計算結果から、M̄ よりもはるかに小さいMを用いることで、性能が著しく向上することが実証され、適応的アプローチの実用的利点が裏付けられた。