[論文レビュー] An Average Curvature Accelerated Composite Gradient Method for Nonconvex Smooth Composite Optimization Problems

Jiaming Liang, Renato D. C. Monteiro|arXiv (Cornell University)|Sep 10, 2019

Sparse and Compressive Sensing Techniques参考文献 26被引用数 4

ひとこと要約

本稿では、非凸滑らか複合最適化のための平均曲率加速合成勾配（AC-ACG）法を提案する。本手法は、過去の曲率の平均を用いてリプシッツ定数の推定を適応的に設定する。バックトラッキング手法とは異なり、曲率の過大評価があっても常に最初の反復を受容するため、収束速度が $ \|v\|^2 = \mathcal{O}(M_k/k)$ となる。ここで $M_k$ は平均曲率を表し、合成的および実世界の問題においても効率が向上する。

ABSTRACT

This paper presents an accelerated composite gradient (ACG) variant, referred to as the AC-ACG method, for solving nonconvex smooth composite minimization problems. As opposed to well-known ACG variants that are either based on a known Lipschitz gradient constant or a sequence of maximum observed curvatures, the current one is based on the average of all past observed curvatures. More specifically, AC-ACG uses a positive multiple of the average of all observed curvatures until the previous iteration as a way to estimate the "function curvature" at the current point and then two resolvent evaluations to compute the next iterate. In contrast to other variable Lipschitz estimation variants, e.g., the ones based on the maximum curvature, AC-ACG always accepts the aforementioned iterate regardless how poor the Lipschitz estimation turns out to be. Finally, computational results are presented to illustrate the efficiency of AC-ACG on both randomly generated and real-world problem instances.

研究の動機と目的

• 既知のリプシッツ定数を必要としない非凸滑らか複合最適化のための効率的な一次順序法の開発。
• 適応的ステップサイズ選択において最大曲率推定を平均曲率に置き換えることで収束速度の向上。
• バックトラッキングラインサーチを回避しつつ、収束性および反復複雑度の保証を確保。
• ランダムに生成された問題および実世界の問題インスタンスにおいて、優れた性能を示すことの実証。

提案手法

• AC-ACG は、反復 $k-1$ までに観測されたすべての曲率の平均の正の倍数として曲率推定値 $M_k$ を計算する。
• 各反復で2回のリゾルベント評価を実行する：1回目は近似凸部分問題 $y_{k+1} = \arg\min_x \{ \ell_f(x;\tilde{x}_k) + h(x) + \frac{M_k}{2}\|x - \tilde{x}_k\|^2 \}$ を介して行う。
• もし $M_k$ が真の曲率を過大評価している場合、依然としてプロキシマルステップを受容する。逆に、過小評価している場合、$y_k$ と補助反復点の凸結合を計算するために、2回目のリゾルベント評価を実行する。
• 常に最初に計算された反復を受容するため、バックトラッキングを回避し、ラインサーチフリーな動作を実現する。
• プロキシマルセンター $\tilde{x}_k$ は、$y_k$ と補助反復点 $x_k$ の凸結合として選択され、加速を可能にする。
• 収束解析により、$\|v\|^2 = \mathcal{O}(M_k/k)$ のレートバウンドが確立され、ここで $v \in \partial f(y) + \partial h(y)$ である。

実験結果

リサーチクエスチョン

• RQ1 最大曲率ではなく過去の曲率の平均を用いることで、非凸複合最適化における収束性が向上するか？
• RQ2 平均曲率に基づくラインサーチフリーな手法が、反復複雑度の保証を維持できるか？
• RQ3 非凸問題において、AC-ACG はバックトラッキングベースの ACG 変種と比べて実用的に優れた性能を示すか？
• RQ4 収束速度を上界 $M$ の代わりに平均曲率 $M_k$ の関数として表現できるか？

主な発見

• AC-ACG は $\|v\|^2 = \mathcal{O}(M_k/k)$ の収束速度を達成し、$M_k$ が小さい場合にはより速い収束を実現する。
• 数値実験では、AC-ACG は AG、NM、UP、NC、AD、ACT よりも実行時間で優れており、合成的および実世界の問題において最も速く終了する。
• AC-ACG が計算する平均曲率 $M_k$ は、初期の $M$ や最大曲率よりも顕著に小さいことが示され、効果的な曲率推定が行われている。
• テストケース全体を通して、AC-ACG は「良い」反復の割合が91～99％を維持しており、そのロバスト性が裏付けられる。
• 顔の画像を用いた NMF 問題では、AC-ACG は2番目に速い実行時間（4.70秒）と最小の反復回数（36回）を達成し、AG、NM、ACT を上回る性能を示した。
• より速い実行時間であったが、NM はわずかに良い目的関数値を達成したが、AC-ACG は著しく低い計算コストで同等の目的関数品質を達成した。