[論文レビュー] Asynchronous Parallel Algorithms for Nonconvex Big-Data Optimization: Model and Convergence.

Loris Cannelli, Francisco Facchinei+2 more|arXiv (Cornell University)|Jul 17, 2016

Sparse and Compressive Sensing Techniques参考文献 38被引用数 24

ひとこと要約

本稿では、逐次凸近似と洗練された非同期モデルを組み合わせた、非凸的大規模データ最適化のための新規非同期並列アルゴリズムを提案する。このアルゴリズムは、確実な収束を保証し、凸および非凸問題の両方で既存手法を上回る性能を発揮する。

ABSTRACT

We propose a novel asynchronous parallel algorithmic framework for the minimization of the sum of a smooth nonconvex function and a convex nonsmooth regularizer, subject to both convex and nonconvex constraints. The proposed framework hinges on successive convex approximation techniques and a novel probabilistic model that captures key elements of modern computational architectures and asynchronous implementations in a more faithful way than current state of the art models. Key features of the proposed framework are: i) it accommodates inconsistent read, meaning that components of the vector variables may be written by some cores while being simultaneously read by others; ii) it covers in a unified way several different specific solution methods, and iii) it accommodates a variety of possible parallel computing architectures. Almost sure convergence to stationary solutions is proved. Numerical results, reported in the companion paper, on both convex and nonconvex problems show our method can consistently outperform existing parallel asynchronous algorithms.

研究の動機と目的

• 凸および非凸制約の下で、非滑らか正則化子を伴う大規模非凸最適化問題に取り組む挑戦に対処する。
• 多様な並列コンピューティングアーキテクチャおよび非同期パターンをサポートする統一されたアルゴリズムフレームワークを開発する。
• 従来のモデルの限界を克服するため、不一致リードを含むより正確な非同期の確率的表現を導入する。
• 現実的な非同期実行条件下で、定常解への理論的収束を保証する。
• 理論的保証を維持したまま、現代の計算システムへの実用的導入を可能にする。

提案手法

• 非凸な目的関数の成分を扱うために、逐次凸近似を用い、反復的に凸部分問題を解く。
• 非同期計算のダイナミクスを捉える新規な確率的モデルを導入し、処理コア間での不一致リードを含む。
• マルチコアCPUや分散システムを含む、さまざまな並列アーキテクチャと互換性を持つようにアルゴリズムを設計する。
• 異なるコア間でベクトル成分の同時読み取り・書き込みを許容し、従来のモデルよりも現実の非同期を忠実にモデル化する。
• 複数の具体的な解法を統一的に扱えるように、単一の理論的基盤の下にフレームワークを統合する。
• 提案された非同期の確率的モデルの下で、定常解への確実な収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 非凸的大規模データ最適化において、凸および非凸制約を両方サポートする統一された非同期並列フレームワークを開発できるか？
• RQ2 不一致リードを捉えるより現実的な非同期の確率的モデルを最適化アルゴリズムに統合することで、実用性を向上させられるか？
• RQ3 現実的な非同期実行パターン下でも、提案されたフレームワークが収束保証をどの程度維持できるか？
• RQ4 理論的および実験的性能を損なわず、多様な並列コンピューティングアーキテクチャに応用可能か？
• RQ5 提案手法は、凸および非凸問題の両方において、既存の非同期アルゴリズムよりも収束速度および解の品質で優れているか？

主な発見

• 提案されたアルゴリズムは、新規な非同期の確率的モデルの下で、定常解への確実な収束を保証する。
• フレームワークは、変数ベクトルの成分が他のコアによって書き込み中である場合の不一致リードをサポートする。
• この手法は、単一のアルゴリズム的および理論的フレームワークの下で、既存の複数の解法技術を統合する。
• アルゴリズムは幅広い並列コンピューティングアーキテクチャと互換性があり、実用的応用性を高める。
• 同行の論文における数値結果は、凸および非凸問題の両方で、既存の並列非同期アルゴリズムを一貫して上回る性能改善を示している。
• 不一致リードを含む現実的な非同期のモデル化にもかかわらず、理論的収束保証が維持されている。