[論文レビュー] A Randomized Nonmonotone Block Proximal Gradient Method for a Class of Structured Nonlinear Programming

Zhaosong Lu, Lin Xiao|arXiv (Cornell University)|Jun 25, 2013

Sparse and Compressive Sensing Techniques参考文献 43被引用数 12

ひとこと要約

本稿では、滑らか（おそらく非凸）な関数とブロック分離可能な非滑らか（おそらく非凸）な関数を含む構造的非線形計画問題を解くために、確率的非単調ブロックプロキシマル勾配（RNBPG）法を提案する。この手法は、局所的な曲率に基づく可変ステップサイズと非単調ラインサーチを用い、逐次的収束性と部分線形収束レートを達成する。実験結果では、既存の確率的ブロック座標法よりも優れた性能を示している。

ABSTRACT

We propose a randomized nonmonotone block proximal gradient (RNBPG) method for minimizing the sum of a smooth (possibly nonconvex) function and a block-separable (possibly nonconvex nonsmooth) function. At each iteration, this method randomly picks a block according to any prescribed probability distribution and solves typically several associated proximal subproblems that usually have a closed-form solution, until a certain progress on objective value is achieved. In contrast to the usual randomized block coordinate descent method [23,20], our method has a nonmonotone flavor and uses variable stepsizes that can partially utilize the local curvature information of the smooth component of objective function. We show that any accumulation point of the solution sequence of the method is a stationary point of the problem {\it almost surely} and the method is capable of finding an approximate stationary point with high probability. We also establish a sublinear rate of convergence for the method in terms of the minimal expected squared norm of certain proximal gradients over the iterations. When the problem under consideration is convex, we show that the expected objective values generated by RNBPG converge to the optimal value of the problem. Under some assumptions, we further establish a sublinear and linear rate of convergence on the expected objective values generated by a monotone version of RNBPG. Finally, we conduct some preliminary experiments to test the performance of RNBPG on the $\ell_1$-regularized least-squares problem and a dual SVM problem in machine learning. The computational results demonstrate that our method substantially outperforms the randomized block coordinate {\it descent} method with fixed or variable stepsizes.

研究の動機と目的

• 非凸最適化における単調および固定ステップサイズの確率的ブロック座標法の限界を解消すること。
• 局所的曲率情報を活用する可変ステップサイズを組み込むことで、実用的性能を向上させること。
• 悪い局所最小値から脱出できるように、解の品質を向上させる非単調ラインサーチ戦略を開発すること。
• やや弱い仮定のもとで非凸問題に対する収束保証を確立すること。
• 実験的に、提案手法が反復回数および計算時間の観点で、既存の確率的ブロック座標法を上回ることを示すこと。

提案手法

• 各反復において、所定の確率分布に従ってブロックが確率的に選択される。
• 十分な目的関数値の進捗が得られるまで、選択されたブロックに対する複数のプロキシマル部分問題を解く。
• 一時的な目的関数値の増加を許容することで、悪い局所最小値から脱出できる非単調ラインサーチ戦略を採用する。
• 局所的曲率を活用するため、スペクトル型戦略によって初期化される可変ステップサイズを用いる。
• 他の変数は固定したまま、選択されたブロックのみを更新する。部分勾配とブロック単位のリプシッツ定数を含むプロキシマル部分問題の定式化を用いる。
• 勾配の座標単位のリプシッツ連続性と最適解集合の空でないことを仮定して収束解析を行う。

実験結果

リサーチクエスチョン

• RQ1 非単調ラインサーチと可変ステップサイズを備えた確率的ブロック座標法は、非凸設定において単調な対応手法に比べ、より優れた収束性と解の品質を達成できるか？
• RQ2 局所的曲率に基づく可変ステップサイズの使用は、ブロック座標法の実用的性能を向上させるか？
• RQ3 提案手法RNBPGの非凸構造問題に対する理論的収束特性は何か？
• RQ4 反復回数および計算時間の観点で、固定ステップサイズおよび単調バージョンと比較して、本手法の性能はどの程度か？
• RQ5 L1正則化最小二乗問題や双対SVM問題などの大規模機械学習問題において、本手法はより速い収束を達成できるか？

主な発見

• RNBPGが生成する解の系列の任意の蓄積点は、ほとんど確実に問題の停留点である。
• 本手法は、反復回数における最小期待二乗プロキシマル勾配ノルムの部分線形収束レートを達成する。
• 凸問題においては、RNBPGが生成する期待目的関数値が最適値に収束する。
• 追加の仮定のもとで、RNBPGの単調バージョンは、期待目的関数値において部分線形および線形収束レートを達成する。
• 数値実験では、RNBPGは固定ステップサイズおよび可変ステップサイズの確率的ブロック座標降下法の両方を反復回数および計算時間の観点で顕著に上回った。
• RCV1およびNews20データセットにおいて、RNBPGは収束が速く、特にブロックサイズが大きい場合に顕著に優れた性能を示した。12コアシステムでも、適切なブロックサイズが選ばれた場合には、計算時間も短縮された。