[論文レビュー] On Lower Complexity Bounds for Large-Scale Smooth Convex Optimization

Cristóbal Guzmán, Arkadi Nemirovski|arXiv (Cornell University)|Jul 18, 2013

Sparse and Compressive Sensing Techniques参考文献 20被引用数 5

ひとこと要約

本稿は、$/ell_p$-球およびその行列版（スチェット $p$-ノルム球）上のスムーズな凸最適化におけるタイトな下界を、インフラ・コンボリューションに基づく新規なスムージングカーネルフレームワークを用いて確立する。条件付き勾配法が$/ell_\infty$-球およびスペクトルノルム球上のスムーズ最小化において近似的に最適であることを示し、次元の対数因子を除いて既知の上界と一致する。

ABSTRACT

We derive lower bounds on the black-box oracle complexity of large-scale smooth convex minimization problems, with emphasis on minimizing smooth (with Holder continuous, with a given exponent and constant, gradient) convex functions over high-dimensional ||.||_p-balls, 1<=p<=\infty. Our bounds turn out to be tight (up to logarithmic in the design dimension factors), and can be viewed as a substantial extension of the existing lower complexity bounds for large-scale convex minimization covering the nonsmooth case and the 'Euclidean' smooth case (minimization of convex functions with Lipschitz continuous gradients over Euclidean balls). As a byproduct of our results, we demonstrate that the classical Conditional Gradient algorithm is near-optimal, in the sense of Information-Based Complexity Theory, when minimizing smooth convex functions over high-dimensional ||.||_\infty-balls and their matrix analogies -- spectral norm balls in the spaces of square matrices.

研究の動機と目的

• 高次元の$\|\cdot\|_p$-球、$1 \leq p \leq \infty$上での大規模スムーズ凸最適化の情報に基づく複雑度下界を確立すること。
• 既存の下界をユークリッド空間および非滑らかケースにとどまらず、一般の滑らかさパラメータ（ホルダー連続勾配）へと拡張すること。
• インフラ・コンボリューションに基づくスムージングカーネル技術を用いて、異なるノルム間の下界解析を統一すること。
• 条件付き勾配法が$\|\cdot\|_\infty$-球およびスペクトルノルム球上でのスムーズ最小化において近似的に最適であることを示すこと。

提案手法

• インフラ・コンボリューションとスムージングカーネルを用いた、スムーズ凸最適化問題の硬いインスタンスを構築する一般フレームワークを導入する。
• ノルム空間における「スムージング性質」を用い、リプシッツ勾配を持つ凸関数が速やかに成長することを要件とすることで、インフラ・コンボリューションの滑らかさを保証する。
• $\|\cdot\|_p$-球上での最適化の複雑度を、目的関数と定義域の構造を保つ線形埋め込み$Y = GX$を用いて低次元問題に還元する。
• 埋め込み問題にコロラリー1（ミニマックスリスク）を適用し、不正確さに関する下界を導出し、元の問題に逆方向に帰属させる。
• 行列の対角的制限が特異値のベクトルに$\|\cdot\|_p$-ノルムを誘導することを用い、行列スチェットノルム問題への拡張を可能にする。
• 得られた下界が、既知の上界（例えばネステロフの高速勾配法）と次元$n$の対数因子を除いて一致することを確立する。

実験結果

リサーチクエスチョン

• RQ1 高次元の$\|\cdot\|_p$-球上でのホルダー連続勾配をもつスムーズ凸関数の最小化における情報に基づく複雑度下界は何か？
• RQ2 古典的条件付き勾配法が$\|\cdot\|_\infty$-球およびスペクトルノルム球上でのスムーズ最小化において近似的に最適であることを証明できるか？
• RQ3 スムーズ凸最適化の複雑度は、特に非ユークリッドノルムの場合、定義域の幾何構造にどのように依存するか？
• RQ4 モラウエンVELOープ技術は、ユークリッドノルムを超えて非ユークリッドスムージングを支援するように、どの程度一般化可能か？
• RQ5 導出された下界は、特に$T \leq n$または$T \leq O(1)n$の場合に、行列ケースにおいてどの範囲で適用可能か？

主な発見

• 本稿は、$n$次元の$\|\cdot\|_p$-球上でのスムーズ凸最小化におけるタイトな下界を確立し、次元$n$の対数因子を除いて既知の上界と一致する。
• $p = \infty$の場合、任意の$T$ステップの局所オラクル法の最悪ケース不正確さは、$\Omega\left(\frac{1}{\ln^{\kappa-1}(T+1)} \frac{L}{T^{\frac{3\kappa}{2} - 1}}\right)$で下界づけられる。ここで$\kappa$はホルダー指数、$L$は勾配のリプシッツ定数である。
• 条件付き勾配法が$\|\cdot\|_\infty$-球およびその行列版（スペクトルノルム球）上での情報に基づく複雑度において近似的に最適であることが示された。
• 下界はスチェット$p$-ノルムを用いて行列問題へ拡張可能であり、$p \geq 2$では$T \leq n$、$1 \leq p \leq 2$では$T \leq O(1)n$に制限される。ここで$n$は行列次元の平方根である。
• スムージングカーネルに速やかな成長とリプシッツ勾配を持つものを導入することで、非ユークリッドノルムへのモラウエンVELOープ技術の一般化が達成され、スムーズ問題の硬いインスタンスの構築が可能になった。
• 本結果により、滑らかで非ユークリッドな設定における一次元法の最適性に関する未解決の問題が解決され、導出された下界を上回る収束速度の改善は対数的改善にとどまることを示した。