[論文レビュー] Proximal Alternating Penalty Algorithms for Constrained Convex Optimization

Quoc Tran-Dinh|arXiv (Cornell University)|Nov 4, 2017

Sparse and Compressive Sensing Techniques参考文献 44被引用数 8

ひとこと要約

本稿では、非滑らかで制約付きの凸最適化問題を解くための、2つの新しいプロキシマル交互ペナルティ法を提案する。二次ペナルティ、交互最小化、ネステロフの加速、および適応的パラメータチューニングを組み合わせることで、リプシッツ勾配や強い凸性の仮定を必要とせず、一般問題に対して最適な$Ó(1/k)$収束速度、半強凸問題に対しては$Ó(1/k^2)$を達成する。

ABSTRACT

We develop two new proximal alternating penalty algorithms to solve a wide range class of constrained convex optimization problems. Our approach mainly relies on a novel combination of the classical quadratic penalty, alternating minimization, Nesterov's acceleration, and adaptive strategy for parameters. The first algorithm is designed to solve generic and possibly nonsmooth constrained convex problems without requiring any Lipschitz gradient continuity or strong convexity, while achieving the best-known $O(\frac{1}{k})$-convergence rate in a non-ergodic sense, where $k$ is the iteration counter. The second algorithm is also designed to solve non-strongly convex, but semi-strongly convex problems. This algorithm can achieve the best-known $O(\frac{1}{k^2})$-convergence rate on the primal constrained problem. Such a rate is obtained in two cases: (i)~averaging only on the iterate sequence of the strongly convex term, or (ii) using two proximal operators of this term without averaging. In both algorithms, we allow one to linearize the second subproblem to use the proximal operator of the corresponding objective term. Then, we customize our methods to solve different convex problems, and lead to new variants. As a byproduct, these algorithms preserve the same convergence guarantees as in our main algorithms. We verify our theoretical development via different numerical examples and compare our methods with some existing state-of-the-art algorithms.

研究の動機と目的

• 機械学習、信号処理、制御系において生じる大規模で非滑らかかつ制約付きの凸最適化問題を解く課題に対処すること。
• 内点法や逐次二次計画法といった古典的手法の限界を克服し、高次元かつ非滑らかな問題に対して非効率である点を改善すること。
• リプシッツ勾配連続性や強い凸性に依存しない、収束速度が保証された一次元アルゴリズムの開発。
• 加速と適応的ペナルティ戦略を用いて、一般問題に対して最適な$Ó(1/k)$、半強凸問題に対しては最適な$Ó(1/k^2)$の収束速度を達成すること。
• プロキシマルオペレータによる部分問題の線形化を可能にしつつ、収束保証を維持することで、実装の実用性を高めること。

提案手法

• 制約付き問題を、$f(x)$および$g(y)$が非滑らかで凸である関数である、結合制約$Ax + By - c \in \mathcal{K}$を有する複合最適化問題として定式化する。
• 制約を双対化するために二次ペナルティ法を適用し、ペナルティ付き増強ラグランジュ形式に変換する。
• $x$と$y$の更新を分離する交互最小化スキームを導入し、プロキシマルオペレータを用いて部分問題を逐次的に解く。
• 収束速度の向上を図るため、ネステロフの加速技術を組み込む。特に、半強凸問題に対して$Ó(1/k^2)$を達成する。
• ペナルティパラメータ$\rho_k$とステップサイズ$\tau_k$の適応的更新戦略を導入し、手動チューニングの必要性を排除する。
• 部分問題における滑らか項$h(y)$の線形化を許容し、$g$と$h$のプロキシマルオペレータによる効率的計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 リプシッツ勾配連続性を仮定しない一般の非滑らかで強く凸でない制約付き最適化問題に対して、プロキシマル交互ペナルティ法が$Ó(1/k)$の収束速度を達成できるか？
• RQ2 加速と適応的パラメータを用いることで、半強凸問題に対して$Ó(1/k^2)$の収束速度を達成できるか？
• RQ3 ペナルティパラメータとステップサイズパラメータをどのように適応的に更新すれば、手動チューニングなしに収束を保証できるか？
• RQ4 部分問題における滑らか項の線形化を許容しつつ、収束保証を維持できるか？
• RQ5 平均化を用いるか、または平均化なしに2つのプロキシマルステップを用いる場合に、$Ó(1/k^2)$の収束速度が達成される理論的条件は何か？

主な発見

• 最初のアルゴリズムは、リプシッツ勾配連続性や強い凸性を仮定しない一般の非滑らかで制約付き凸最適化問題に対して、非エルゴード的収束速度$Ó(1/k)$を達成する。
• 2番目のアルゴリズムは、半強凸問題に対して最適な$Ó(1/k^2)$収束速度を達成するが、以下の2条件を満たす必要がある：(i) 強い凸項の反復列に対する平均化のみ、または (ii) 強い凸項の2つのプロキシマルオペレータを用いるが平均化なし。
• 部分問題における滑らか項の線形化を許容しても、収束保証が維持され、効率的な実装が可能になる。
• $\rho_k$、$\tau_k$、$\gamma_k$の適応的パラメータ更新戦略により、手動チューニングなしに収束を保証でき、実用性が向上する。
• 理論的分析により、$\rho_0 \leq \frac{\mu_g + 2\mu_h - L_h}{2\|B\|^2} > 0$を満たす場合に$Ó(1/k^2)$の収束速度が達成され、パラメータ選択が問題構造と関連づけられることが示された。
• 数値実験により理論的予想が確認され、さまざまな凸最適化問題において、最先端の一次元手法よりも優れた性能を示した。