[論文レビュー] Parallelization does not Accelerate Convex Optimization: Adaptivity Lower Bounds for Non-smooth Convex Minimization

Eric Balkanski, Yaron Singer|arXiv (Cornell University)|Aug 12, 2018

Complexity and Algorithms in Graphs参考文献 44被引用数 14

ひとこと要約

この論文は、最悪ケースにおいて、平行化が非滑らかな凸最適化を高速化しないことを確立している。滑らかでない関数と強い凸関数に対して、ユニットユークリッド球上で、多項式的クエリ数を1ラウンドあたりに使用しても、ランダム化アルゴリズムは逐次的手法よりも優れた収束速度を達成できないことを示す、タイトな適応性下界を証明している。

ABSTRACT

In this paper we study the limitations of parallelization in convex optimization. A convenient approach to study parallelization is through the prism of \emph{adaptivity} which is an information theoretic measure of the parallel runtime of an algorithm [BS18]. Informally, adaptivity is the number of sequential rounds an algorithm needs to make when it can execute polynomially-many queries in parallel at every round. For combinatorial optimization with black-box oracle access, the study of adaptivity has recently led to exponential accelerations in parallel runtime and the natural question is whether dramatic accelerations are achievable for convex optimization. For the problem of minimizing a non-smooth convex function $f:[0,1]^n o \mathbb{R}$ over the unit Euclidean ball, we give a tight lower bound that shows that even when $ exttt{poly}(n)$ queries can be executed in parallel, there is no randomized algorithm with $ ilde{o}(n^{1/3})$ rounds of adaptivity that has convergence rate that is better than those achievable with a one-query-per-round algorithm. A similar lower bound was obtained by Nemirovski [Nem94], however that result holds for the $\ell_{\infty}$-setting instead of $\ell_2$. In addition, we also show a tight lower bound that holds for Lipschitz and strongly convex functions. At the time of writing this manuscript we were not aware of Nemirovski's result. The construction we use is similar to the one in [Nem94], though our analysis is different. Due to the close relationship between this work and [Nem94], we view the research contribution of this manuscript limited and it should serve as an instructful approach to understanding lower bounds for parallel optimization.

研究の動機と目的

• 平行化が凸最適化を高速化できるかどうかを調査すること、特に非滑らかで強く凸な関数の文脈において。
• 適応性を並列実行時間の尺度として用いることで、並列化によるスケールアップの根本的限界を確立すること。
• 強い凸関数およびリプシッツ関数に対して、$ε$-最適性ギャップの適応性ラウンドに関するタイトな下界を提供することで、理解のギャップを埋めること。
• 組合せ最適化における既存の並列加速技術が、標準的仮定の下で凸最適化に一般化されないことを示すこと。

提案手法

• 適応性レベル $r$ でパラメータ化された凸関数族 $\mathcal{F}_r^\lambda$ を構築し、任意の $r$-適応アルゴリズムに対して区別不能となるように設計する。
• 強凸性を保証し、部分勾配ノルムを制御するために、$\ell_2$-正則化を施したハードインスタンス関数 $f_{\mathbf{y}}$ の滑らか化版を用いる。
• 情報理論的議論を用いて、適応ラウンド数 $r$ に基づき期待最適性ギャップをバウンドする。
• ギャップ区別不能性の議論を用いて、任意の $r$-適応アルゴリズムが、関数族内の2つの関数を高確率で区別できないことを示す。
• $\ell_2$-直径とリプシッツ定数 $G$ を用いて、最適性ギャップの下界を導出する。
• 正則化パラメータ $\lambda$、ドメイン直径 $D$、リプシッツ定数との関係を用いて、部分勾配ノルムを制御し、$\|\mathbf{g}\|^2 \leq G^2$ を保証する。

実験結果

リサーチクエスチョン

• RQ1 1ラウンドあたり $\operatorname{poly}(n)$ クエリを用いた並列化は、非滑らかな凸最適化において、逐次的手法よりも速い収束速度を達成できるか？
• RQ2 リプシッツ関数および強く凸関数を最小化する際、所定の精度に達するのに必要な適応ラウンド数の根本的限界は何か？
• RQ3 並列クエリが豊富に利用可能であっても、並列アルゴリズムと逐次アルゴリズムの性能に、証明可能なギャップはあるか？
• RQ4 非滑らかで強く凸な設定において、アルゴリズムの適応性と収束速度の関係は何か？
• RQ5 組合せ最適化（例：部分モジュラー最大化）における既存技術は、並列計算モデル下で凸最小化に拡張可能か？

主な発見

• 任意の $r$-適応ランダム化アルゴリズムに対して、$\mathcal{F}_r^\lambda$ 内の強い凸かつリプシッツ関数が存在し、最適性ギャップが確率 $\omega(1/n)$ で $GD \left( \frac{1}{2\sqrt{r+1}} - \frac{(r+1/2)\log n}{\sqrt{n}} \right)$ 以上である。
• $r \in o(n^{1/3}/\log n)$ のとき、最適性ギャップは $\Omega\left( \frac{GD}{\sqrt{r}} \right)$ であり、逐次部分勾配法の収束速度と一致する。
• 1ラウンドあたり $\operatorname{poly}(n)$ クエリを並列実行しても、この下界は成立し、並列化による漸近的高速化はないことを示している。
• 構築された関数族により、すべての部分勾配がノルムの二乗が $G^2$ 以下になるように保証され、リプシッツ条件を満たしている。
• 下界は低次の項を除いてタイトであり、$r$-適応アルゴリズムが収束速度の面で標準的逐次手法を上回ることは不可能であることを示している。
• 結果は $\ell_2$-ノルム設定に対して成り立ち、ネミロフスキーの以前の $\ell_\infty$-ノルム設定の結果とは対照的であり、文献におけるギャップを埋めている。