[論文レビュー] Relative Lipschitzness in Extragradient Methods and a Direct Recipe for Acceleration.

Michael B. Cohen, Aaron Sidford+1 more|arXiv (Cornell University)|Jan 1, 2020

Sparse and Compressive Sensing Techniques被引用数 3

ひとこと要約

本稿では、相対リプシッツ性と呼ばれる新しい条件を導入することで、外挿法が滑らかで凸な最小化問題において最適な加速収束レートを達成することを確立している。この相対リプシッツ性は、単調な変分不等式における収束を特徴付けるものである。この枠組みは局所的および確率的設定へ一般化可能であり、面積凸性を用いることで、$υ_\infty$回帰および確率的座標降下法の加速レートを回復することができる。

ABSTRACT

We show that standard extragradient methods (i.e. mirror prox and dual extrapolation) recover optimal accelerated rates for first-order minimization of smooth convex functions. To obtain this result we provide fine-grained characterization of the convergence rates of extragradient methods for solving monotone variational inequalities in terms of a natural condition we call relative Lipschitzness. We further generalize this framework to handle local and randomized notions of relative Lipschitzness and thereby recover rates for box-constrained $\ell_\infty$ regression based on area convexity and complexity bounds achieved by accelerated (randomized) coordinate descent for smooth convex function minimization.

研究の動機と目的

• 標準的な外挿法（ミラー・プロックスやデュアル・エクストラポレーションを含む）が、滑らかで凸な最小化問題において最適な加速収束レートを達成することを確立すること。
• 収束を制御する主要な条件としての相対リプシッツ性の概念を導入し、形式化すること。
• より広範な最適化問題のクラスをカバーできるように、この枠組みを局所的および確率的設定へ拡張すること。
• $υ_\infty$回帰および加速された確率的座標降下法の既知の複雑度バウンドを、新しい条件を用いて回復すること。

提案手法

• 外挿法が単調な変分不等式を解く際の収束レートを特徴付ける条件として、相対リプシッツ性を定義する。
• 相対リプシッツ性の条件を用いて、滑らかで凸な最小化問題における外挿法の収束レートを導出する。
• より広範な適用可能性を実現するため、局所的および確率的バージョンの相対リプシッツ性を扱えるように枠組みを一般化する。
• 面積凸性を相対リプシッツ性の一種とみなすことにより、ボックス制約付き$υ_\infty$回帰にこの枠組みを適用する。
• 相対リプシッツ性の観点から複雑度バウンドを解釈することで、確率的座標降下法の既知の加速レートを回復する。

実験結果

リサーチクエスチョン

• RQ1 滑らかで凸な関数に対して、洗練された条件下で外挿法が最適な加速収束レートを達成できるか？
• RQ2 相対リプシッツ性は、単調な変分不等式における収束を特徴付ける上で果たす役割は何か？
• RQ3 相対リプシッツ性は、局所的および確率的設定へどのように拡張可能か？ これにより、新たな最適化問題を捉えることができるか？
• RQ4 この枠組みは、$υ_\infty$回帰および確率的座標降下法の既知の加速レートを回復できるか？
• RQ5 最適化の文脈において、面積凸性と相対リプシッツ性の関係は何か？

主な発見

• 滑らかで凸な最小化問題において、相対リプシッツ性の条件下で外挿法が最適な加速収束レートを達成する。
• 相対リプシッツ性の条件は、単調な変分不等式における収束レートを細かく特徴付けるものである。
• この枠組みは、局所的および確率的相対リプシッツ性へ一般化可能であり、ボックス制約付き$υ_\infty$回帰への応用を可能にする。
• 面積凸性が相対リプシッツ性の一種を示すことが示され、これにより$υ_\infty$回帰の複雑度バウンドが回復可能である。
• 相対リプシッツ性の観点から複雑度を解釈することで、確率的座標降下法の既知の加速レートが回復可能である。