[論文レビュー] A Universal Primal-Dual Convex Optimization Framework

Alp Yurtsever, Quoc Tran-Dinh+1 more|arXiv (Cornell University)|Feb 10, 2015

Sparse and Compressive Sensing Techniques参考文献 19被引用数 28

ひとこと要約

この論文は、凸最適化の普遍的なプライマル・デュアルフレームワークを導入し、計算コストの高いプロキシマル作用素の代わりに安価なフェンケル型作用素を用いることで、滑らかさの未知のホルダー連続性度数に対しても、滑らかさパラメータの事前知識がなくても最適収束速度を達成できる。この手法は、勾配および加速勾配バージョンを用いて、適応的ラインサーチを伴うデュアル昇上により、目的関数の残差と実行可能性ギャップの両方で最適収束を達成する。

ABSTRACT

We propose a new primal-dual algorithmic framework for a prototypical constrained convex optimization template. The algorithmic instances of our framework are universal since they can automatically adapt to the unknown Holder continuity degree and constant within the dual formulation. They are also guaran- teed to have optimal convergence rates in the objective residual and the feasibility gap for each Holder smoothness degree. In contrast to existing primal-dual algorithms, our framework avoids the proximity operator of the objective function. We instead leverage computationally cheaper, Fenchel-type operators, which are the main workhorses of the generalized conditional gradient (GCG)-type methods. In contrast to the GCG-type methods, our framework does not require the objective function to be differentiable, and can also process additional general linear inclusion constraints, while guarantees the convergence rate on the primal problem

研究の動機と目的

• デュアル目的関数の未知のホルダー連続性度数に適応するプライマル・デュアルアルゴリズムフレームワークの開発を目的とする。
• 計算コストの高いプロキシマル作用素を、スケーラビリティを高めるために安価なフェンケル型オракルに置き換えることを目的とする。
• すべてのホルダー滑らかさレベルにおいて、目的関数の残差と実行可能性ギャップの両方で最適収束速度を維持することを目的とする。
• 一般化された条件付き勾配型手法の適用範囲を、非滑らか目的関数および一般の線形包含制約に拡張することを目的とする。
• 滑らかさパラメータ $M_\nu$ と $\nu$ の知識がなくても、ユニバーサルな収束を可能とすることを目的とする。

提案手法

• フレームワークは、制約付き凸最適化のテンプレート $\min_{\mathbf{x} \in \mathcal{X}} \{ f(\mathbf{x}) : \mathbf{A}\mathbf{x} - \mathbf{b} \in \mathcal{K} \}$ のデュアル定式化に基づいて動作する。
• 計算効率を高めるために、プロキシマル作用素の代わりにフェンケル型オラクル $[\mathbf{x}]^\sharp_{\mathcal{X},g} = \arg\max_{\mathbf{s} \in \mathcal{X}} \{ \langle \mathbf{x}, \mathbf{s} \rangle - g(\mathbf{s}) \}$ を用いる。
• デュアル上で勾配法および加速勾配法を用い、デュアル目的関数 $g(\boldsymbol{\lambda})$ から導かれる上界 $U(\alpha_k)$ を用いたラインサーチに基づく。
• $\mathcal{X}$ がノルムボールの場合、デュアル関数は $g(\boldsymbol{\lambda}) = \frac{1}{2}\|\boldsymbol{\lambda}\|^2 + \langle \boldsymbol{\lambda}, \mathbf{b} \rangle + \kappa \|\mathcal{A}^T(\boldsymbol{\lambda})\|$ に簡略化される。
• ステップサイズ $\alpha_k$ は、$\|\nabla g(\hat{\boldsymbol{\lambda}}_k)\|$ と $\|\mathcal{A}^T(\nabla g(\hat{\boldsymbol{\lambda}}_k))\|$ を含む二次方程式を解くことで明示的に導出される。
• フレームワークはユニバーサルである：未知のホルダー滑らかさ $\nu \in [0,1]$ に自動的に適応し、$M_\nu$ の事前知識がなくても最適収束速度を達成する。

実験結果

リサーチクエスチョン

• RQ1 滑らかさパラメータの事前知識がなくても、ホルダー滑らかさ度数のすべてのレベルで最適収束速度を達成できるプライマル・デュアルフレームワークは構築可能か？
• RQ2 フェンケル型オラクルは、プロキシマル作用素に置き換え可能であり、最適収束を維持し、非滑らか目的関数に対しても対応可能か？
• RQ3 一般の線形包含制約 $\mathbf{A}\mathbf{x} - \mathbf{b} \in \mathcal{K}$ を処理しつつ、非滑らか $f$ に対しても収束を保証できるか？
• RQ4 フェンケル型オラクルのみを用いて、最適収束を達成するように適応的ラインサーチを設計できるか？
• RQ5 プロキシマル法の利点（最適レート）と条件付き勾配法の利点（低コストの反復）を統合できるか？

主な発見

• 提案されたフレームワークは、$f$ が非滑らかである場合、目的関数の残差と実行可能性ギャップの両方で $\mathcal{O}(1/\epsilon^2)$ の最適収束速度を達成する。これは、フェンケル型オラクルを用いても、プロキシマル法と同等の速度を達成する。
• 強い凸性を持つ $f$ の場合、デュアルギャップに関して $\mathcal{O}(1/\epsilon)$ の収束速度を達成し、プロキシマル法と同等の性能を示す。
• フレームワークはプロキシマル作用素を完全に回避し、多くの状況でプロキシマル作用素よりも計算コストが低いフェンケル型オラクルに依存する。
• この手法はユニバーサルである：未知のホルダー滑らかさパラメータ $M_\nu$ と $\nu$ に自動的に適応し、事前知識がなくても最適レートを達成する。
• 明示的なステップサイズ $\alpha_k$ は、デュアル勾配と $\mathcal{A}^T(\nabla g)$ の作用素ノルムを含む二次方程式を解くことで導出される。
• ノルムボール制約の特別な場合、デュアル関数およびその勾配が明示的に計算可能であり、パワー法やランチョス法を用いた効率的な実装が可能となる。