[論文レビュー] A Primal-Dual Parallel Method with $O(1/ε)$ Convergence for Constrained Composite Convex Programs

Hao Yu, Michael J. Neely|arXiv (Cornell University)|Jul 30, 2017

Advanced Optimization Algorithms Research参考文献 5被引用数 6

ひとこと要約

本稿では、制約付き複合凸計画問題に対する、$O(1/\epsilon)$収束を達成する新規なプライマル・デュアル並列アルゴリズムを提案する。従来の方法が各反復で高価な部分問題を解く必要があるのに対し、本手法は最適ラグランジュ乗数に依存しない新しいパrameterルールを用いることで、各反復を独立的かつ並列化可能な更新に分解し、非分離問題の効率的かつ大規模な解法を可能にする。

ABSTRACT

This paper considers large scale constrained convex (possibly composite and non-separable) programs, which are usually difficult to solve by interior point methods or other Newton-type methods due to the non-smoothness or the prohibitive computation and storage complexity for Hessians and matrix inversions. Instead, they are often solved by first order gradient based methods or decomposition based methods. The conventional primal-dual subgradient method, also known as the Arrow-Hurwicz-Uzawa subgradient method, is a low complexity algorithm with an $O(1/ε^2)$ convergence time. Recently, a new Lagrangian dual type algorithm with a faster $O(1/ε)$ convergence time is proposed in Yu and Neely (2017). However, if the objective or constraint functions are not separable, each iteration of the Lagrangian dual type method in Yu and Neely (2017) requires to solve a unconstrained convex program, which can have huge complexity. This paper proposes a new primal-dual type algorithm with $O(1/ε)$ convergence for general constrained convex programs. Each iteration of the new algorithm can be implemented in parallel with low complexity even when the original problem is composite and non-separable.

研究の動機と目的

• 内点法がヘッセ行列の計算と保存コストが高いため、大規模な制約付き複合凸計画問題を解くことが困難であるという課題に対処すること。
• 各反復で複雑な部分問題を解かずに、$O(1/\epsilon)$収束を達成する一階プライマル・デュアル法を開発すること。
• 目的関数や制約関数が非分離であっても、並列かつ低複雑性の実装を可能にすること。
• アルゴリズムのパrameterルールにおいて最適ラグランジュ乗数に依存しないようにすることで、ロバスト性と実用性を向上させること。
• 非分離問題において、従来のプライマル・デュアル法およびデュアル勾配法よりも収束速度と各反復の効率性に優れた性能を発揮すること。

提案手法

• 最適ラグランジュ乗数の知識に依存しない新しいパrameterルールを導入し、ステップサイズを最適ラグランジュ乗数から分離する新規なプライマル・デュアルアルゴリズムを提案。
• 滑らかでない部分が分離可能な構造を活用し、合成関数（滑らか＋分離可能な非滑らか部分）の性質を利用して、各反復を独立的かつ並列化可能な部分問題に分解。
• 制約関数の部分勾配に基づくデュアル変数更新と、非滑らか成分に対するプロキシマル操作を含むプライマル更新を採用。
• Lyapunov関数解析を用いて、最適性ギャップと実行可能性ギャップの両方に対して$O(1/\epsilon)$収束を証明。
• 強い双対性とリプシッツ連続性の仮定に基づき、適応的ステップサイズを導出する修正されたデュアル上昇スキームを適用。
• 制約集合$\mathcal{X}$への射影と有界なデュアル変数更新を用いて、妥当性を維持することで収束を保証。

実験結果

リサーチクエスチョン

• RQ1 目的関数や制約が分離可能でない一般の制約付き複合凸計画問題に対して、プライマル・デュアル法が$O(1/\epsilon)$収束を達成できるか。
• RQ2 滑らか成分が非分離であっても、そのような法が各反復の複雑性が低く、並列実装が可能か。
• RQ3 最適ラグランジュ乗数の事前知識がなくても、アルゴリズムの収束を保証できるか。
• RQ4 非分離問題において、従来のプライマル・デュアル法およびデュアル勾配法と比較して、速度とスケーラビリティに優れているか。
• RQ5 高価なヘッセ行列の計算や行列逆行列計算を回避しつつ、高速な収束を維持できるか。

主な発見

• 提案手法は最適性と実行可能性の両方で$O(1/\epsilon)$収束を達成し、最近の並列アルゴリズムで達成可能な最良のレートと一致する。
• 各反復が独立的かつ並列化可能な更新に分解可能であり、大規模問題への効率的実装を可能にする。
• l_2ノルム制約付き最小分散ポートフォリオ問題において、ベースライン手法と比較して180倍高速な反復速度を達成。
• l_1ノルム制約付きポートフォリオ問題においては、ベースライン手法と比較して1,800倍高速な反復速度を達成。
• 目的関数や制約関数が非分離であっても、従来の並列手法がその場合に並列性を失うのとは異なり、高速な収束を維持。
• 性能は従来の手法と同等またはそれ以上であり、各反復の計算コストが著しく低減されている。