[論文レビュー] Hybrid Random/Deterministic Parallel Algorithms for Nonconvex Big Data Optimization

Amir Daneshmand, Francisco Facchinei+2 more|arXiv (Cornell University)|Jul 16, 2014

Sparse and Compressive Sensing Techniques参考文献 39被引用数 12

ひとこと要約

本稿では、滑らかでない非凸関数と滑らかでない凸正則化項を含む非凸で大規模な最適化問題に対する、ハイブリッドなランダム／決定的並列ブロック座標降下法を提案する。変数ブロックのランダム選択と、局所的進捗に基づく決定的サブセレクションを組み合わせることで、完全にランダムまたは完全に決定的な手法よりも高速な収束を達成するとともに、確率1収束による静止点への収束を保証する。

ABSTRACT

We propose a decomposition framework for the parallel optimization of the sum of a differentiable {(possibly nonconvex)} function and a nonsmooth (possibly nonseparable), convex one. The latter term is usually employed to enforce structure in the solution, typically sparsity. The main contribution of this work is a novel \emph{parallel, hybrid random/deterministic} decomposition scheme wherein, at each iteration, a subset of (block) variables is updated at the same time by minimizing local convex approximations of the original nonconvex function. To tackle with huge-scale problems, the (block) variables to be updated are chosen according to a \emph{mixed random and deterministic} procedure, which captures the advantages of both pure deterministic and random update-based schemes. Almost sure convergence of the proposed scheme is established. Numerical results show that on huge-scale problems the proposed hybrid random/deterministic algorithm outperforms both random and deterministic schemes.

研究の動機と目的

• 機械学習やデータサイエンスで一般的に見られる、滑らでない正則化項を伴う大規模非凸最適化問題の挑戦に応えること。
• 並列ブロック座標降下法における、完全にランダムまたは完全に決定的なブロック選択ルールの限界を克服すること。
• ランダム選択の低コスト性と、グリーディな決定的更新による高速収束性を組み合わせたハイブリッドスキームを設計すること。
• 提案手法の確率1収束を、きわめて弱い仮定のもとで静止解へ保証すること。
• 既存のランダムおよび決定的手法と比較して、巨大スケール問題における優れた性能を示すこと。

提案手法

• アルゴリズムは二段階のブロック選択戦略を用いる：まずランダムにブロックのサブセットを選択し、次に局所的降下可能性に基づいて最も有望なものを決定的に選択する。
• 各反復で、非凸目的関数の局所的凸近似を、選択されたブロック上で最小化し、元の問題の構造を維持する。
• 各ステップでの目的関数の十分な減少を保証するためにバックトラッキングラインサーチを採用する。
• 収束解析は、反復点とその予測更新との距離をバインドすることに依拠し、勾配のリプシッツ連続性と不正確解の誤差バウンドを用いる。
• 理論的保証は、リャプノフ型関数と、目的関数列の収束に基づく背理法による議論を用いて確立される。
• 最小限の通信オーバーヘッドで、分散環境やマルチコア環境に適したスケーラブルな設計がなされている。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドなランダム／決定的ブロック選択戦略は、並列非凸最適化において、完全にランダムまたは完全に決定的な手法を上回ることができるか？
• RQ2 ランダムサンプリングと決定的フィンガリングの組み合わせは、収束保証を損なわずに収束速度を向上させることができるか？
• RQ3 滑らでない正則化項を伴う非凸問題に対する並列ブロック座標降下法について、確率1収束を確立することは可能か？
• RQ4 提案手法は、既存の最先端手法と比較して、大規模問題においてどのように性能を発揮するか？
• RQ5 提案されたハイブリッド更新ルールのもとで、反復列が静止点に収束するための理論的条件は何か？

主な発見

• 提案されたハイブリッドアルゴリズムは、巨大スケール最適化問題において、完全にランダムおよび完全に決定的手法を上回る収束速度を達成する。
• 目的関数とステップサイズルールに関する標準的仮定のもとで、非凸問題に対する確率1収束が保証される。
• ランダム選択のロバスト性と、局所的進捗に基づく決定的フィンガリングの効率性を組み合わせることで、収束速度が向上する。
• 数値実験により、反復ごとの目的関数値の低下量および全体の実行時間において、ハイブリッドスキームがベースライン手法を上回ることが確認された。
• 誤差項が有界な不正確な部分問題解を用いても、収束保証が維持されることを示した。
• 理論的解析により、反復列が一般化勾配条件を満たす点に収束することが示され、静止性が裏付けられた。