[論文レビュー] A Richer Theory of Convex Constrained Optimization with Reduced Projections and Improved Rates

Tianbao Yang, Qihang Lin+1 more|arXiv (Cornell University)|Aug 11, 2016

Sparse and Compressive Sensing Techniques参考文献 27被引用数 3

ひとこと要約

本稿は、凸制約付き最適化のための新規フレームワークを提案する。このフレームワークは、投影回数を著しく削減し、滑らか問題では1回の投影で最適収束を達成し、非滑らか問題では局所的誤差束縛下で対数的投影回数を達成する。加速アルゴリズムを導入し、反復複雑度を改善：滑らか問題では$O(1/\epsilon)$、非滑らか問題では$ ot ilde{O}(1/\epsilon^{2(1-\theta)})$（$ ot\theta \in (0,1]$は局所的成長率を定量化）、圧縮センシングや距離行列学習において従来手法を著しく上回る。

ABSTRACT

This paper focuses on convex constrained optimization problems, where the solution is subject to a convex inequality constraint. In particular, we aim at challenging problems for which both projection into the constrained domain and a linear optimization under the inequality constraint are time-consuming, which render both projected gradient methods and conditional gradient methods (a.k.a. the Frank-Wolfe algorithm) expensive. In this paper, we develop projection reduced optimization algorithms for both smooth and non-smooth optimization with improved convergence rates under a certain regularity condition of the constraint function. We first present a general theory of optimization with only one projection. Its application to smooth optimization with only one projection yields $O(1/ε)$ iteration complexity, which improves over the $O(1/ε^2)$ iteration complexity established before for non-smooth optimization and can be further reduced under strong convexity. Then we introduce a local error bound condition and develop faster algorithms for non-strongly convex optimization at the price of a logarithmic number of projections. In particular, we achieve an iteration complexity of $\widetilde O(1/ε^{2(1-θ)})$ for non-smooth optimization and $\widetilde O(1/ε^{1-θ})$ for smooth optimization, where $θ\in(0,1]$ appearing the local error bound condition characterizes the functional local growth rate around the optimal solutions. Novel applications in solving the constrained $\ell_1$ minimization problem and a positive semi-definite constrained distance metric learning problem demonstrate that the proposed algorithms achieve significant speed-up compared with previous algorithms.

研究の動機と目的

• 複雑な制約（PSDや二次的制約など）において、投影および線形最適化の計算コストが高いため、制約付き凸最適化における高い計算コストを低減すること。
• 唯一の投影で済ませる一般理論の構築により、高価な投影ステップへの依存を減らすこと。
• 局所的誤差束縛条件の下で、非強凸問題の収束速度を向上させ、対数的数の投影を導入すること。
• 実世界の問題（例：$\ell_1$最小化、正定値距離行列学習）における提案アルゴリズムの有効性を実証すること。
• やや弱い正則性仮定の下で、滑らかおよび非滑らか最適化の両方における反復複雑度の tighter 界を確立すること。

提案手法

• 制約関数をバリア関数に似た方法で目的関数に埋め込む一般フレームワークを導入し、最終的な1回の投影のみを許容する。
• 増分勾配法（Nesterovの加速法）を拡張された無制約問題に適用し、滑らか凸最適化で$O(1/\epsilon)$の反復複雑度を達成する。
• パラメータ$\theta \in (0,1]$を用いた局所的誤差束縛条件を導入し、最適解付近での関数値の局所的成長率を特徴付ける。
• 段階的アルゴリズムを設計し、対数的数の投影を実現。各段階で、次第にタイトな誤差束縛を用いて解を精密化する。
• 制約違反を制御し収束を加速するために、ラインサーチまたはペナルティパラメータ$\lambda$の適応的チューニングを採用する。
• 具体的な問題（例：$\ell_1$最小化、PSD制約付き距離行列学習）にこのフレームワークを適用し、問題構造を活かした手法の適応を図る。

実験結果

リサーチクエスチョン

• RQ1 繰り返し高価な投影を避けるために、唯一の投影で滑らか凸最適化の最適収束速度を達成できるか？
• RQ2 投影が高価な非滑らか・非強凸問題において、収束速度をどのように向上できるか？
• RQ3 パラメータ$\theta$を有する局所的誤差束縛条件が、対数的数の投影で収束を加速する役割を果たすか？
• RQ4 本手法フレームワークは、複雑な制約を伴う実世界問題（例：圧縮センシング、距離行列学習）に効果的に適用可能か？
• RQ5 反復複雑度および実行時間の観点から、従来の投影勾配法やFrank-Wolfe法に比べ、本手法の理論的・実験的利点は何か？

主な発見

• 提案手法は、滑らか凸最適化において唯一の投影で$O(1/\epsilon)$の反復複雑度を達成し、従来の非滑らか手法の$O(1/\epsilon^2)$を上回る。
• 非滑らか最適化では、パラメータ$\theta \in (0,1]$の局所的誤差束縛条件の下で$ ot ilde{O}(1/\epsilon^{2(1-\theta)})$の反復複雑度を達成し、標準的なレートより高速である。
• 同じ条件下で滑らか最適化においては$ ot ilde{O}(1/\epsilon^{1-\theta})$の反復複雑度を達成し、非強凸問題においても収束が改善されることを示す。
• 圧縮センシングでは、LoPNAGはNESTAよりも著しく高速に収束し、唯一の投影でも、回復誤差と目的値の両面で優れた結果を達成する。
• 高次元距離行列学習では、LoPGDはPGDおよびOPGDを上回り、8000反復以内に著しく高速に収束する。非滑らかなPSD制約下でも同様の優位性を示す。
• $\ell_1$最小化および距離行列学習の両分野で、実験的に高速化を示し、従来の投影を多用するアルゴリズムに対する実用的優位性を裏付ける。