[論文レビュー] Lower Bounds for Parallel and Randomized Convex Optimization

Jelena Diakonikolas, Cristóbal Guzmán|arXiv (Cornell University)|Nov 5, 2018

Sparse and Compressive Sensing Techniques参考文献 32被引用数 7

ひとこと要約

この論文は、広範な幾何構造（ℓpおよびシュタイン空間）と滑らかさのレベル（滑らでない、弱く滑らかな、滑らかな）の下で、並列および確率的凸最適化のオракル複雑度に対するタイトな下界を確立する。並列化が次なる複雑度を次元の対数因子を除き著しく低下させることはできず、ほとんどの設定では、1ラウンドあたりのクエリ数が多項式的に有界な場合、ラウンド複雑度が多項式対数的になることは不可能であることを示している。

ABSTRACT

We study the question of whether parallelization in the exploration of the feasible set can be used to speed up convex optimization, in the local oracle model of computation. We show that the answer is negative for both deterministic and randomized algorithms applied to essentially any of the interesting geometries and nonsmooth, weakly-smooth, or smooth objective functions. In particular, we show that it is not possible to obtain a polylogarithmic (in the sequential complexity of the problem) number of parallel rounds with a polynomial (in the dimension) number of queries per round. In the majority of these settings and when the dimension of the space is polynomial in the inverse target accuracy, our lower bounds match the oracle complexity of sequential convex optimization, up to at most a logarithmic factor in the dimension, which makes them (nearly) tight. Prior to our work, lower bounds for parallel convex optimization algorithms were only known in a small fraction of the settings considered in this paper, mainly applying to Euclidean ($\ell_2$) and $\ell_\infty$ spaces. Our work provides a more general approach for proving lower bounds in the setting of parallel convex optimization.

研究の動機と目的

• 並列化が局所オラクルモデルにおける凸最適化のオラクル複雑度を低下させられるかどうかを特定すること。
• 既知の下界がユークリッド空間およびℓ∞空間を超えて一般のℓpおよびシュタイン空間へ拡張されることにより、文献における主要なギャップを埋めること。
• すべての滑らかさレベルおよび可能な定義域幾何構造において、決定的および確率的アルゴリズムのほぼタイトな下界を確立すること。
• ℓ∞およびℓ1のような設定における並列複雑度に関する長年の予想を解決し、凸最適化における並列高速化の限界を明確にすること。

提案手法

• 既知の困難なケース（例：ℓ∞）からの難しい問題インスタンスを、他のℓpおよびシュタイン空間に埋め込むための新しい還元フレームワークを開発した。
• 反集中不等式とℓp空間の直交分解を用いて、敵対的選択下での最適性ギャップを制限した。
• 次元dが逆精度εの関数としてスケーリングする高次元的状態を分析し、タイトな複雑度境界を可能にした。
• この手法は決定的および確率的アルゴリズムの両方に適用可能であり、確率的議論を用いて、ランダムなクエリにおける成功確率を制限した。
• 特定の幾何的対称性に依存するのではなく、ノルム空間の構造的性質に依存することで、先行研究を一般化した。
• 主な技術的ツールとして、κ-滑らかさおよび次元依存スケーリングを用いた最適性ギャップの精密分析があり、タイトな境界を導いた。

実験結果

リサーチクエスチョン

• RQ1 1ラウンドあたりのクエリ数が多項式的に有効な場合でも、並列化が凸最適化のオラクル複雑度を逐次的複雑度未満に低下させられるか。
• RQ2 一般のℓpおよびシュタイン空間において、並列凸最適化で多項式対数的ラウンド複雑度を達成できるか。
• RQ3 ℓ∞およびユークリッド空間における下界が、同様にタイトな性質を持つ他のℓp空間および行列シュタイン空間へ拡張可能か。
• RQ4 滑らかさ（κ）、次元（d）、精度（ε）の間の正確なトレードオフは、並列オラクル複雑度における凸最適化においてどのように現れるか。
• RQ5 滑らでないℓ∞最適化における既知の下界が、滑らかでないおよび弱く滑らかな設定へ、同等のタイトさで拡張可能か。

主な発見

• 1 ≤ p < 2 および κ-滑らかな関数に対する ℓp 空間では、並列オラクル複雑度は Ω( (1/ε)^(2/(3+2κ)) / (ln(1/ε) + κ ln ln(dK/γ)) ) 以上であり、次元の対数因子を除き逐次的複雑度と一致する。
• 滑らかな場合（κ=1）では、境界は Ω( (1/ε)^(2/5) / (ln(1/ε) + ln ln(dK/γ)) ) であり、逐次的複雑度 Θ(1/√ε) に対して指数部分が 1/10 離れているため、根本的な障壁を示している。
• 弱く滑らかな関数（κ→0）では、境界は Ω( (1/ε)^(2/3) ) となり、逐次的複雑度から指数部分が 4/3 だけずれているが、これは高次元的状態においては緩い。
• 下界は定義域の拡大に対してもロバストであり、制約なし問題に対しても適用可能であり、制約付き設定を超えて有効である。
• 結果は、高確率モデルにおいて、Nemirovski の以前の滑らでない ℓ∞ 最適化の下界を回復・強化するが、これは定数εに限る。
• 分析により、ℓ∞および低pの場合の境界を改善するには、根本的に新しい技術が必要であることが判明した。現在の仮定（例：最適性ギャップに関するもの）はタイトであり、ハードインスタンスを変更しない限り緩められない。