[論文レビュー] Parallel Successive Convex Approximation for Nonsmooth Nonconvex Optimization

Meisam Razaviyayn, Mingyi Hong+2 more|arXiv (Cornell University)|Jun 13, 2014

Sparse and Compressive Sensing Techniques参考文献 30被引用数 58

ひとこと要約

本稿では、非滑らかで非凸な最適化問題に対する並列不正確ブロック座標降下法を提案する。複数のブロックが目的関数の凸近似を用いて同時に更新される。循環的およびランダムなブロック選択ルールの両方に対して、非漸近的収束保証を確立し、特に循環的選択ではLasso問題において逐次的手法を上回る効率性を示す。

ABSTRACT

Consider the problem of minimizing the sum of a smooth (possibly non-convex) and a convex (possibly nonsmooth) function involving a large number of variables. A popular approach to solve this problem is the block coordinate descent (BCD) method whereby at each iteration only one variable block is updated while the remaining variables are held fixed. With the recent advances in the developments of the multi-core parallel processing technology, it is desirable to parallelize the BCD method by allowing multiple blocks to be updated simultaneously at each iteration of the algorithm. In this work, we propose an inexact parallel BCD approach where at each iteration, a subset of the variables is updated in parallel by minimizing convex approximations of the original objective function. We investigate the convergence of this parallel BCD method for both randomized and cyclic variable selection rules. We analyze the asymptotic and non-asymptotic convergence behavior of the algorithm for both convex and non-convex objective functions. The numerical experiments suggest that for a special case of Lasso minimization problem, the cyclic block selection rule can outperform the randomized rule.

研究の動機と目的

• 機械学習および信号処理に生じる大規模な非滑らかで非凸な最適化問題に適したスケーラブルな並列最適化手法の開発。
• 逐次的ブロック座標降下法の限界を克服し、複数の変数ブロックを同時に更新可能にする。
• 一般の凸近似を用いた並列不正確BCDの収束保証（漸近的および非漸近的）を提供する。
• 特にLasso型問題において、循環的とランダムなブロック選択ルールの性能を比較する。
• リプシッツ定数が未知であっても、定数および減少するステップサイズを用いて実用的な導入を可能にする。

提案手法

• アルゴリズムは、目的関数の滑らか部分を局所的に近似するための逐次的凸近似（SCA）を用い、各ブロックごとに凸部分問題を形成する。
• 各反復で、全目的関数の凸近似を最小化することで、ブロックのサブセットを並列に更新する。パrameterized近似関数を用いたproximalに類似した更新が用いられる。
• 循環的およびランダムなブロック選択ルールをサポートし、Lasso問題における数値実験で循環的ルールがランダム選択を上回ることが示された。
• 線形近似およびproximal近似を特別なケースとして含む一般の近似フレームワークを採用し、従来の手法よりも高い柔軟性を提供する。
• 収束解析は、十分な減少条件およびproximal勾配ノルムの上限に基づき、非漸近的反復複雑度の上限が導かれる。
• アルゴリズムは同期的であり、ロックフリー手法に一般的に見られる競合状態を回避し、高性能なマルチコアアーキテクチャを想定して設計されている。

実験結果

リサーチクエスチョン

• RQ1 一般の凸近似を用いた並列不正確ブロック座標降下法は、非滑らかで非凸な問題に対して非漸近的収束を達成できるか？
• RQ2 並列環境下で、循環的およびランダムなブロック選択ルールの収束速度と効率性はどのように比較できるか？
• RQ3 線形／proximal近似を超える一般の凸近似を用いることで、実際の収束行動が改善されるか？
• RQ4 リプシッツ定数が未知であっても、減少するステップサイズを用いてアルゴリズムが効率を維持できるか？
• RQ5 大規模な並列実装において、通信オーバーヘッドおよびプロセッサ数の影響は収束速度にどのように現れるか？

主な発見

• 提案された並列不正確BCD法は、凸および非凸問題の両方に対して非漸近的収束を達成し、反復複雑度の上限を提供する。
• Lasso最小化において、循環的ブロック選択ルールがランダム選択を上回ることから、構造的問題に対してより優れた収束行動を示す。
• 定数および減少するステップサイズの両方で収束が保証され、実用的状況でのロバストネスが向上する。
• 並列更新のおかげで、逐次BCD法よりも収束速度が向上するが、通信オーバーヘッドのためスループットは非線形的である。
• 一般の凸近似の使用により、線形／proximal手法に比べてよりタイトな局所近似が可能となり、収束効率が向上する。