[論文レビュー] An accelerated algorithm for minimizing convex compositions

Dmitriy Drusvyatskiy, Courtney Kempton|arXiv (Cornell University)|Apr 30, 2016

Sparse and Compressive Sensing Techniques参考文献 15被引用数 2

ひとこと要約

本稿では、滑らか化、プロキシムリニア法、および高速勾配スキームを組み合わせることで、凸合成の最小化のための高速化アルゴリズムを提案する。最初の順序法による部分問題の近似的な解法において、複雑性は $Ϫ{ℓ}(ε^{-3})$ に達する。また、平均的合成関数問題への拡張および、凸性のもとで自動的に加速するインertial型の拡張も提示される。

ABSTRACT

We consider global efficiency of algorithms for minimizing a sum of a convex function and a composition of a Lipschitz convex function with a smooth map. The basic algorithm we rely on is the prox-linear method, which in each iteration solves a regularized subproblem formed by linearizing the smooth map. When the subproblems are solved exactly, the method has efficiency $\mathcal{O}(\varepsilon^{-2})$, akin to gradient descent for smooth minimization. We show that when the subproblems can only be solved by first-order methods, a simple combination of smoothing, the prox-linear method, and a fast-gradient scheme yields an algorithm with complexity $\widetilde{\mathcal{O}}(\varepsilon^{-3})$. The technique readily extends to minimizing an average of $m$ composite functions, with complexity $\widetilde{\mathcal{O}}(m/\varepsilon^{2}+\sqrt{m}/\varepsilon^{3})$ in expectation. We round off the paper with an inertial prox-linear method that automatically accelerates in presence of convexity.

研究の動機と目的

• リプシッツ連続な凸関数と滑らかな写像との合成の関数の和を最小化するための効率的な一次順序アルゴリズムの開発。
• 部分問題を正確に解くのではなく、近似的に解く場合のプロキシムリニア法のグローバル収束効率の向上。
• $m$ 個の合成関数の平均を最小化する問題への拡張により、期待される複雑性の改善。
• 凸性の下で自動的に加速する、プロキシムリニア法のインエーシェント型の導入。

提案手法

• 非滑らか成分を扱うために、滑らか化技術とプロキシムリニアフレームワークを組み合わせる。
• 最初の順序法による部分問題の近的解法の収束を高速化するために、高速勾配スキームを採用する。
• 各反復で滑らかな写像を線形化し、正則化された部分問題を解くことで、グローバル収束を保証する。
• 平均的合成関数問題の場合、反復ごとの複雑度を低減するために確率的近似を用いる。
• 運動量に類似した項を組み込んだインエーシェント型プロキシムリニア法を導入し、凸構造に適応して収束速度を向上させる。
• 標準的な仮定（リプシッツ連続性、凸性など）の下で、複雑性の上限を理論的に確立する。

実験結果

リサーチクエスチョン

• RQ1 プロキシムリニア法は、最初の順序法による部分問題の近的解法を用いる場合でも、グローバル効率を維持できるか？
• RQ2 部分問題が最初の順序技術で解かれる場合、凸合成の最小化における最適な複雑性は何か？
• RQ3 $m$ 個の合成関数の平均を最小化する場合、複雑性はどのようにスケーリングされるか？
• RQ4 運動量に類似した項をプロキシムリニア法に組み込むことで、凸性のもとで自動的に加速を達成できるか？

主な発見

• 提案されたアルゴリズムは、単一の凸合成を最小化する際、複雑性 $Ϫ{ℓ}(ε^{-3})$ を達成し、部分問題を近似的に解く場合に標準的な $ℓ(ε^{-2})$ よりも改善される。
• 複数の合成関数の平均を最小化する場合、期待される複雑性は $Ϫ{ℓ}(m/ε^{2} + \sqrt{m}/ε^{3})$ となり、$m$ に対する依存性が改善されていることが示された。
• インエーシェント型プロキシムリニア法は、強い凸性パラメータの事前知識がなくても、凸性の下で自動的に加速を達成する。
• 滑らか化、プロキシムリニア更新、高速勾配スキームの組み合わせにより、理論的保証のもとで非滑らかで合成的な問題を効率的に解けるようになった。