[論文レビュー] Asynchronous Parallel Algorithms for Nonconvex Big-Data Optimization. Part II: Complexity and Numerical Results

Loris Cannelli, Francisco Facchinei+2 more|arXiv (Cornell University)|Jan 17, 2017

Sparse and Compressive Sensing Techniques参考文献 22被引用数 12

ひとこと要約

本稿では、逐次凸近似と洗練された非同期モデルを組み合わせた、非凸的大規模最適化のための新規非同期並列アルゴリズムAsyFLEXAを提案する。固定ステップサイズにおけるε-停留性を達成するための複雑度境界O(1/ε)を確立し、凸および非凸問題の両方で最先端の手法を上回る線形スループットと優れた性能を示す。LASSOや非凸スパース回復問題を含む、凸および非凸問題の両方で評価されている。

ABSTRACT

We present complexity and numerical results for a new asynchronous parallel algorithmic method for the minimization of the sum of a smooth nonconvex function and a convex nonsmooth regularizer, subject to both convex and nonconvex constraints. The proposed method hinges on successive convex approximation techniques and a novel probabilistic model that captures key elements of modern computational architectures and asynchronous implementations in a more faithful way than state-of-the-art models. In the companion paper we provided a detailed description on the probabilistic model and gave convergence results for a diminishing stepsize version of our method. Here, we provide theoretical complexity results for a fixed stepsize version of the method and report extensive numerical comparisons on both convex and nonconvex problems demonstrating the efficiency of our approach.

研究の動機と目的

• 非凸最適化における既存の非同期アルゴリズムの限界、特に収束保証と非現実的な非同期モデルの問題を解決する。
• 従来のモデルよりも現代の計算アーキテクチャをより正確に反映する、新たな非同期の確率的モデルを構築する。
• 固定ステップサイズバージョンのアルゴリズムに対して理論的複雑度境界を確立し、O(1/ε)イテレーション内で停留性に収束することを保証する。
• 凸および非凸問題における広範な数値比較を通じて、アルゴリズムの実用的効率性とロバスト性を示す。
• 非凸正則化子（例：l₀ノルムの対数および指数的代理関数）が、スパース回復の観点でl₁正則化よりも優れた再構成精度とスパarsityを達成できることを示す。

提案手法

• 滑らかで非凸および凸でない非滑らか成分を有する非凸最適化問題を解くために、逐次凸近似（SCA）に基づく固定ステップサイズ非同期アルゴリズムを提案する。
• 従来の研究で用いられる標準モデルを改善し、現代の並列アーキテクチャの主要な特徴を捉える、新たな非同期の確率的モデルを導入する。
• 収束をモニタリングするためのメリット関数を用い、現在の反復点とそのプロキシマル更新との距離に基づく停留性測度を定義する。
• ボックス制約などの凸制約、および非凸二次制約などの非凸局所制約を含む問題にアルゴリズムを適用する。
• 各コアが陳腐化した情報を用いて変数のサブセットを非同期に更新する並列的・ブロック反復的実装を採用する。
• スパース回復のための非凸l₀ノルムの代理関数（対数および指数関数）を用い、l₁正則化よりも優れたスパarsityと精度を実現する。

実験結果

リサーチクエスチョン

• RQ1 より現実的な非同期モデルの下で、固定ステップサイズ非同期アルゴリズムが非凸最適化においてO(1/ε)イテレーションの複雑度を達成できるか？
• RQ2 提案されたアルゴリズムは、凸および非凸設定の両方でコア数の増加に伴い線形スループットを示すか？
• RQ3 非凸制約を伴う非凸問題において、AsyFLEXAは最先端の非同期手法（例：A-S-SPCD、ARock）を上回る性能を示すか？
• RQ4 非凸正則化子（対数、指数）は、スパース回復問題においてl₁正則化よりもスパarsityと再構成精度の両面で優れているか？
• RQ5 代理関数の選択（対数 vs. 指数 vs. l₁）が、正規化平均二乗誤差（NMSE）および解のスパarsityに与える影響は何か？

主な発見

• アルゴリズムはO(1/ε)イテレーション内で期待停留性測度をε未満に抑えることができ、固定ステップサイズ非同期非凸最適化における理論的複雑度境界を確認した。
• 数値結果から、非凸LASSO問題においてAsyFLEXAはA-S-SPCDおよびARockを上回り、収束速度と解の品質の両面で優れた性能を示す。特に、より良いスパarsityと低減されたNMSEを達成している。
• 非凸スパース回復において、l₀ノルムの対数および指数的代理関数は、真のスパarsity（5％非ゼロ）と一致する正則化パラメータλでNMSEを約0.02にまで低下させるが、l₁正則化では非ゼロ成分が15％増加し、NMSEが2倍以上悪化する。
• コア数の増加に伴い、CPU時間の1イテレーションあたりの短縮と2コアおよび20コアでの高速収束により、線形スループットが達成されている。
• 複数回の実行においてAsyFLEXAは同一の停留解に収束するため、非凸設定でも形式的収束証明がなくても、ロバストで信頼性の高い性能を示している。
• リーマン連続性の仮定に依存しないモデル近似の柔軟性により、特に非凸領域において、厳密な滑らかさ仮定に依存する手法よりも優れた性能を発揮している。