[論文レビュー] Inexact Proximal Gradient Methods for Non-convex and Non-smooth Optimization

Bin Gu, Wang De+2 more|arXiv (Cornell University)|Dec 18, 2016

Sparse and Compressive Sensing Techniques参考文献 32被引用数 10

ひとこと要約

本稿では、非凸かつ非滑らか最適化に対する不正確な近位勾配法を提案し、既存の手法が制限される非凸設定に不正確なアルゴリズムを拡張する。基本的および加速型の不正確な近位勾配アルゴリズムを導入し、正確な対応物と同等の収束速度を達成する。実験では、OSCAR、低ランク行列補完、相関関数損失を用いたロバスト回帰の応用で検証されている。

ABSTRACT

In machine learning research, the proximal gradient methods are popular for solving various optimization problems with non-smooth regularization. Inexact proximal gradient methods are extremely important when exactly solving the proximal operator is time-consuming, or the proximal operator does not have an analytic solution. However, existing inexact proximal gradient methods only consider convex problems. The knowledge of inexact proximal gradient methods in the non-convex setting is very limited. % Moreover, for some machine learning models, there is still no proposed solver for exactly solving the proximal operator. To address this challenge, in this paper, we first propose three inexact proximal gradient algorithms, including the basic version and Nesterov's accelerated version. After that, we provide the theoretical analysis to the basic and Nesterov's accelerated versions. The theoretical results show that our inexact proximal gradient algorithms can have the same convergence rates as the ones of exact proximal gradient algorithms in the non-convex setting. Finally, we show the applications of our inexact proximal gradient algorithms on three representative non-convex learning problems. All experimental results confirm the superiority of our new inexact proximal gradient algorithms.

研究の動機と目的

• 非凸最適化設定における不正確な近位勾配法の理論的収束保証の欠如に応える。
• 基本的およびネステロフ加速型の不正確な近位勾配アルゴリズムを、非凸的かつ非滑らか問題に拡張する。
• 理論的分析を通じて、不正確な手法が非凸設定でも正確な手法と同等の収束速度を維持することを示す。
• 提案手法が現実の非凸学習問題において、実用的優位性を示すことを実証する。
• OSCAR やトレースラッソのような複雑な正則化設定における、効率的な不正確近位演算子の計算のためのサブ勾配ベースのアルゴリズムを開発する。

提案手法

• 非凸的・非滑らか問題を対象とした、基本的（IPG）およびネステロフ加速型（AIPG）の不正確近位勾配アルゴリズムを3つ提案する。
• 誤差許容度 $ \varepsilon $ を用いて、$ Q(x; x_{k-1}) = \frac{1}{2\gamma}\|x - (x_{k-1} - \gamma\nabla g(x_{k-1}))\|^2 + h(x) $ の部分問題を解くことで、不正確近位演算子を計算するサブ勾配アルゴリズム（アルゴリズム4）を導入する。
• 不正確近位ステップの収束を監視するために、双対関数 $ \widetilde{Q}(\alpha; x_{k-1}) $ と最適双対変数 $ \alpha $ を用いた双対ギャップ計算（アルゴリズム5）を活用する。
• 不正確解が所定の誤差境界を満たすことを保証するため、双対ギャップ $ G(x_t; x_{k-1}) = Q(x_t; x_{k-1}) - \widetilde{Q}(\alpha_t; x_{k-1}) $ を定義する。
• 非凸問題に非滑らか正則化を適用する不正確近位勾配法を適用し、相関関数損失を用いたOSCAR、低ランク行列補完、ロバスト回帰の応用を含む。
• 不正確近位ステップにおける誤差の適切な減少率の下で、反復列が正確な手法と同等の速度で臨界点に収束することを理論的に証明することで、収束速度の理論的保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 不正確な近位勾配法を非凸的かつ非滑らか最適化問題に拡張可能であり、収束保証を維持できるか？
• RQ2 非凸設定において、不正確な近位勾配アルゴリズムは正確な対応物と同等の収束速度を維持できるか？
• RQ3 OSCAR やトレースラッソのような複雑な正則化関数に対して、効率的な不正確近位演算子をどのように計算できるか？
• RQ4 非凸最適化において収束を保証するための、不正確近位ステップにおける誤差許容度の条件は何か？
• RQ5 提案手法の不正確法は、現実の非凸機械学習問題において、正確法や既存の不正確法と比較して実用的に優れているか？

主な発見

• 提案された不正確近位勾配アルゴリズムは、非凸設定でも正確な手法と同等の収束速度を達成し、加速型では $ O(1/k^2) $ のレートを示す。
• 理論的分析により、不正確近位ステップにおける誤差が適切なレートで減少する場合、$ g(x) $ および $ h(x) $ が非凸であっても収束速度が保たれることを証明した。
• 相関関数損失を用いたOSCARにおける実験では、1反復コストの低減により、不正確法が正確法よりも高速に収束した。
• 低ランク行列補完問題では、不正確法が正確ソルバーよりも著しく短い実行時間で、同等または優れた解品質を達成した。
• 相関関数由来の損失を用いたロバスト回帰では、不正確法がベースライン手法よりも低い目的関数値に収束し、ロバスト性と効率性を示した。
• 双対ギャップ監視を併用したサブ勾配ベースの不正確近位ソルバーは、精度と速度のバランスを効果的に実現し、高次元問題へのスケーラビリティを可能にした。