[論文レビュー] Parallel and Distributed Methods for Nonconvex Optimization-Part I: Theory

Gesualdo Scutari, Francisco Facchinei+2 more|arXiv (Cornell University)|Oct 17, 2014

Sparse and Compressive Sensing Techniques参考文献 33被引用数 36

ひとこと要約

本稿では、元の非凸目的関数および制約の凸近似を用いて反復的に強い凸部分問題を解く一般的で実用的かつ柔軟なフレームワークを提案する。この手法は、停留点への収束を保証し、分散および並列実装を可能にし、より広範な適用性と近似のきつい制約の緩和を伴う既存の逐次凸近似（SCA）手法を統合・拡張する。

ABSTRACT

In this two-part paper, we propose a general algorithmic framework for the minimization of a nonconvex smooth function subject to nonconvex smooth constraints. The algorithm solves a sequence of (separable) strongly convex problems and mantains feasibility at each iteration. Convergence to a stationary solution of the original nonconvex optimization is established. Our framework is very general and flexible; it unifies several existing Successive Convex Approximation (SCA)-based algorithms such as (proximal) gradient or Newton type methods, block coordinate (parallel) descent schemes, difference of convex functions methods, and improves on their convergence properties. More importantly, and differently from current SCA approaches, it naturally leads to distributed and parallelizable implementations for a large class of nonconvex problems. This Part I is devoted to the description of the framework in its generality. In Part II we customize our general methods to several multi-agent optimization problems, mainly in communications and networking; the result is a new class of (distributed) algorithms that compare favorably to existing ad-hoc (centralized) schemes (when they exist).

研究の動機と目的

• 非凸制約を伴う非凸滑らか最適化問題を解く一般のアルゴリズムフレームワークを開発すること。各反復で妥当性を維持すること。
• 中心集約型の既存の逐次凸近似（SCA）手法を統一・拡張し、一貫した柔軟な理論的枠組みに統合すること。
• 特にマルチエージェントシステムにおいて、大規模非凸問題に対して分散および並列実装を可能にするフレームワークを提供すること。
• 目的関数の凸近似が全範囲で上界である必要があるという要件を緩和し、近似設計の柔軟性を高めること。
• 強い凸性の部分問題および勾配のリプシッツ連続性といった弱い仮定のもとで、元の非凸問題の停留解への収束を確立すること。

提案手法

• 各反復で、元の非凸目的関数および制約を凸近似に置き換えることで、強い凸部分問題の系列を形成する。
• 各部分問題は、標準的なプライマル・ダウアル分解手法を用いて解かれ、分散および並列計算が可能になる。
• フレームワークは、元の関数の勾配およびヘッセ行列情報に基づいて構築される凸近似を用いる逐次凸近似戦略を採用する。
• 妥当性は、中間段階でさえも元の制約を満たすようにすべての反復点を保証することで維持される。
• 凸近似が元の関数の全範囲上界である必要はないため、近似設計における柔軟性が向上する。
• 部分問題の強い凸性および解写像のリプシッツ連続性を用いた理論的分析により、停留点への収束が確立される。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化のための一般フレームワークを開発できるか。各反復で妥当性を保ち、分散計算を可能にするか。
• RQ2 既存のSCAベースの手法を、より広範な適用性を持つ単一の理論的枠組みに統合できるか。
• RQ3 このフレームワーク下で、元の非凸問題の停留解への収束を保証する条件は何か。
• RQ4 近似のタイトさに全範囲上界という要件を緩和することで、手法の柔軟性および適用範囲はどのように向上するか。
• RQ5 ネットワークおよびマルチエージェントシステムの大規模非凸問題に対して、並列および分散実装を可能にするフレームワークの適応方法は何か。

主な発見

• 強い凸性の部分問題および近似関数の勾配のリプシッツ連続性といった弱い仮定のもとで、提案フレームワークは元の非凸問題の停留点への収束を保証する。
• 各反復で妥当性が維持されるため、定義域外で目的関数が未定義である場合や、オンライン制約を満たさなければならない応用において特に重要である。
• フレームワークは、プロキシマル勾配法、ブロック座標降下法、DCプログラミング法といった古典的手法を一般化・統合する。
• 目的関数のタイトでない凸近似を許容することで、従来のSCA手法と比較して適用可能な問題の範囲が著しく拡大される。
• 各部分問題の解は、プライマル／ダウアル分解を用いて分散的に計算可能であり、並列アーキテクチャ上でのスケーラブルな実装を可能にする。
• ドンスキンの定理および強い凸性の議論を用いた理論的収束の証明がなされ、解の定義域が全空間でない場合にも拡張可能であることが示された。