[論文レビュー] More Efficient Accelerated Proximal Algorithm for Nonconvex Problems

Quanming Yao, James T. Kwok|arXiv (Cornell University)|Dec 29, 2016

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、非凸最適化のためのより効率的な加速近接勾配（APG）アルゴリズムを提案する。このアルゴリズムは1反復あたり1回の不正確な近接ステップのみを必要とし、臨界点への収束を保証するとともに、O(1/k)の収束速度を達成する。既存のAPG変種と比較して、計算コストを大幅に削減しながら、最先端の予測性能を達成している。

ABSTRACT

The accelerated proximal gradient (APG) algorithm is a popular optimization tool in machine learning. Though originally designed for convex problems, there is growing interest in extending it for nonconvex problems. Recent examples include the monotone and nonmonotone APG algorithms in \cite{li2015accelerated}. However, each iteration requires more than one proximal steps. This can be computationally demanding when the proximal step has no closed-form solution or when the solution is expensive. In this paper, we propose an efficient APG algorithm for nonconvex problems. In each iteration, it requires only one inexact (less expensive) proximal step. Convergence to a critical point is still guaranteed, and a $O(1/k)$ convergence rate is derived. Experimental results on various machine learning problems demonstrate that the proposed algorithm has comparable prediction performance as the state-of-the-art, but is much faster.

研究の動機と目的

• 非凸問題における既存の加速近接勾配（APG）手法が1反復あたり複数の高コストな近接ステップを必要としているという、高い計算コストの問題に対処すること。
• 1反復あたりの計算複雑度を低減しながらも収束保証を維持する効率的なAPG変種を開発すること。
• 1反復あたり1回の不正確な近接ステップのみを用いても、臨界点への収束を保証すること。
• 最小限の計算オーバーヘッドで非凸問題に対して理論的O(1/k)の収束速度を達成すること。
• 機械学習タスクにおける実世界の問題において、予測性能を損なわず、速度面で優れた性能を示すことを実証すること。

提案手法

• 非凸最適化のための新しいAPGフレームワークを提案し、1反復あたり1回の不正確な近接ステップのみを用いることで、計算負荷を低減する。
• 目的関数の十分な減少を保証するためのラインサーチ戦略を導入し、1反復あたりのコストを最小限に抑えつつ収束を実現する。
• 正確な近接部分問題の解法を避ける不正確な近接ステップを採用し、閉形式解のない問題に対しても適している。
• APGのモーメンタム機構を維持しつつ、やや弱い仮定のもとでグローバル収束を保証する。
• 非凸問題に対してO(1/k)の収束速度を理論的に導出する。これは同種の手法における最高水準のレートに一致する。
• 理論的保証を維持しつつ、高価な部分問題の解法を最小限に抑えることで、実用的効率性を実現するようにアルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 1反復あたり1回の不正確な近接ステップのみを用いる非凸APGアルゴリズムを設計できるか。その場合、臨界点への収束を保証できるか。
• RQ2 このような1ステップAPG手法の非凸問題に対する理論的収束速度は何か。
• RQ3 実際の応用において、本手法は複数の近接ステップを要する既存のAPG変種と比較して、計算効率に優れているか。
• RQ4 本手法は、実世界の機械学習タスクにおいて、最先端のアルゴリズムと同等の予測性能を維持できるか。
• RQ5 非凸最適化において、解の品質を損なわず、より高速な収束速度を達成できるか。

主な発見

• 提案手法は非凸問題に対してO(1/k)の収束速度を達成しており、APG手法における最高水準のレートに一致する。
• 1反復あたり1回の不正確な近接ステップしか用いないにもかかわらず、依然として臨界点への収束を達成する。
• 既存の複数の近接ステップを要するAPG変種と比較して、著しく高速な収束速度を示す。
• さまざまな機械学習問題において、提案手法は最先端の手法と同等の予測性能を達成する。
• 近接ステップの計算コストが高く、または閉形式解がない問題において特に有利である。
• 実験的結果から、1反復あたりのコスト削減が、解の品質に損なわれることなく顕著な高速化をもたらすことが確認された。