[論文レビュー] Fast Multiple Splitting Algorithms for Convex Optimization

Donald Goldfarb, Shiqian Ma|arXiv (Cornell University)|Dec 23, 2009

Sparse and Compressive Sensing Techniques参考文献 6被引用数 16

ひとこと要約

本稿では、K 個の凸関数の和を含む凸最適化問題に対する、高速な複数分割アルゴリズムの2つのクラスを提案する。交互方向法と最適勾配法の技術を活用することで、Lipschitz連続勾配の仮定の下で、それぞれ O(1/ε) および O(1/√ε) の反復複雑度の上限を達成する。すべてのアルゴリズムは大規模問題に適した並列化が可能である。

ABSTRACT

We present in this paper two different classes of general $K$-splitting algorithms for solving finite-dimensional convex optimization problems. Under the assumption that the function being minimized has a Lipschitz continuous gradient, we prove that the number of iterations needed by the first class of algorithms to obtain an $ε$-optimal solution is $O(1/ε)$. The algorithms in the second class are accelerated versions of those in the first class, where the complexity result is improved to $O(1/\sqrtε)$ while the computational effort required at each iteration is almost unchanged. To the best of our knowledge, the complexity results presented in this paper are the first ones of this type that have been given for splitting and alternating direction type methods. Moreover, all algorithms proposed in this paper are parallelizable, which makes them particularly attractive for solving certain large-scale problems.

研究の動機と目的

• K 個の凸関数の和を含む大規模凸最適化問題を効率的かつスケーラブルに解くためのアルゴリズムの開発。
• 既存の分割法および交互方向法の多くが K=2 に限定されているのに対し、K≥2 の一般化における収束複雑度の結果を拡張すること。
• 一階情報のみを用いて最適な反復複雑度を達成するアルゴリズムの設計により、既存手法の収束速度を向上させること。
• 提案されたアルゴリズムが本質的に並列化可能であることを保証し、現代の計算アーキテクチャでの効率的実装を可能にすること。
• 一般の K ≥ 2 における分割法の理論的複雑度境界を確立し、2つ以上の作用素を扱う分割法分野における文献の空白を埋めること。

提案手法

• 最初のアルゴリズムクラスは、交互線形化を用いる。各反復で、K−1 個の関数を線形化し、1 つの関数を固定することで、K 個の部分問題を同時に解く。
• 2 番目のクラスは、Nesterov 型の最適勾配法による加速を導入し、反復複雑度を O(1/ε) から O(1/√ε) に改善するが、1 回の反復コストは著しく増加しない。
• アルゴリズムは変数分割と増強ラグランジュアンフレームワークに基づいており、分解可能で並列計算が可能である。
• 非滑らかな成分を扱うためにスムージング技術が採用され、非滑らかな問題に対しても最適勾配法が適用可能になる。
• 収束の挙動と安定性を制御するため、緩和パラメータ τ とペナルティパラメータ μ が導入されている。
• アルゴリズムは分散または並列計算環境での実装を想定しており、大規模問題におけるスケーラビリティを向上させている。

実験結果

リサーチクエスチョン

• RQ1 K ≥ 2 個の凸関数を扱う分割法が、Nesterov の最適勾配法と同等の最適な反復複雑度を達成できるか。
• RQ2 目的関数の勾配がLipschitz連続である場合、複数分割アルゴリズムの収束速度はどのようになるか。
• RQ3 最適勾配法から得られる加速技術を、K > 2 の場合の交互方向型アルゴリズムに効果的に統合できるか。
• RQ4 提案されたアルゴリズムの並列性が、大規模最適化問題における性能にどのように影響するか。
• RQ5 一般の K 分割アルゴリズムにおける理論的複雑度境界は何か。また、K=2 の既存手法と比較してどうなるか。

主な発見

• 最初のアルゴリズムクラスは、Lipschitz連続勾配の仮定の下で、ε-最適解を求めるための O(1/ε) の反復複雑度の上限を達成する。
• 加速版アルゴリズムは、O(1/√ε) の反復複雑度を達成し、一階法における最良の既知の収束速度と一致する。
• 本稿で提案されたアルゴリズムは、K=2 の場合を除くK分割法におけるこのような複雑度境界を初めて確立した。
• 数値実験の結果、FaMSA-s（加速版FaMSA）は、収束速度と解の品質の両面で FaMSA や標準勾配法を一貫して上回ることが示された。
• MSA アルゴリズムは、μ=5 の条件下で 200 反復後に ISNR 5.3182 を達成し、ぼやけたカメラマンの画像を正常に再構成できた。
• μ=5 の場合、FaMSA と FaMSA-s は初期反復で発散したが、MSA は安定的かつ効果的であったことから、パrameter選択への感受性が顕著に現れた。