[論文レビュー] Tight Complexity Bounds for Optimizing Composite Objectives

Blake Woodworth, Nathan Srebro|arXiv (Cornell University)|May 25, 2016

Stochastic Gradient Optimization Techniques参考文献 20被引用数 55

ひとこと要約

この論文は、勾配およびプロキシオラクルを用いたm個の凸関数の平均を最小化するためのタイトな複雑度バウンドを確立し、決定的および確率的設定においてそれぞれ加速勾配降下法（AGD）と加速SVRGが最適であることを証明している。非滑らかな関数ではプロキシオラクルが複雑度を低下させることを示し、滑らかな関数では勾配アクセスで十分であることが明らかになり、決定的と確率的最適化の複雑度に顕著な差が存在することが判明した。

ABSTRACT

We provide tight upper and lower bounds on the complexity of minimizing the average of $m$ convex functions using gradient and prox oracles of the component functions. We show a significant gap between the complexity of deterministic vs randomized optimization. For smooth functions, we show that accelerated gradient descent (AGD) and an accelerated variant of SVRG are optimal in the deterministic and randomized settings respectively, and that a gradient oracle is sufficient for the optimal rate. For non-smooth functions, having access to prox oracles reduces the complexity and we present optimal methods based on smoothing that improve over methods using just gradient accesses.

研究の動機と目的

• m個の凸関数の平均を最小化するために必要な勾配およびプロキシオラクル呼び出し回数のタイトな上界および下界を確立すること。
• 非滑らかおよび滑らかな最適化におけるプロキシオラクルと勾配オラクルの相対的パワーを明確にすること。
• 有限和最適化における決定的アルゴリズムと確率的アルゴリズムの複雑度ギャップを調査すること。
• AGD、SVRG、加速SDCAといった既存手法が対数的要因を除いて最適であることを証明すること。
• 特にm=2の場合に当てはまる、複合目的関数に対するプロキシオラクル使用の最初の意味のある下界を提供すること。

提案手法

• 確率的および決定的アルゴリズムにおけるオラクルアクセスの下界を導出するために、情報理論的議論および還元技術を用いる。
• 非滑らかおよび滑らかなケースの下界を証明するため、部分勾配および近似作用素の挙動を制御した悪意ある関数族を構築する。
• 非滑らかな関数に滑らか化技術を適用し、プロキシオラクルアクセスが勾配のみの手法よりも高速な収束を可能にすることを示す。
• 既知の加速手法（AGD、A-SVRG）を上界として用い、下界と一致する複雑度を示す。
• 部分最適解を得るためのオラクルクエリ回数を下界付けるために、線形関数における符号予測問題に還元する。
• 正則化およびノルム有界性の議論を用いて、有界領域を超えて下界を拡張する。

実験結果

リサーチクエスチョン

• RQ1 勾配およびプロキシオラクルを用いたm個の凸関数の平均を最小化するための最適な複雑度は何か？
• RQ2 有限和最適化において、決定的アルゴリズムと確率的アルゴリズムの複雑度はどのように異なるか？
• RQ3 プロキシオラクルへのアクセスが、勾配のみへのアクセスと比較して、非滑らかな複合目的関数の収束をどの程度改善するか？
• RQ4 AGD や SVRG といった既存の加速手法は、それぞれの設定において最適か？
• RQ5 滑らかおよび非滑らか、凸および強凸関数に対するオラクルアクセスの最もタイトな下界は何か？

主な発見

• 滑らかな関数では、加速勾配降下法（AGD）が決定的設定で最適な複雑度を達成し、導出された下界と一致する。
• 確率的アルゴリズムでは、加速SVRGが最適であり、対数的要因を除いて既知で最もタイトな複雑度バウンドを達成する。
• 非滑らかな場合、プロキシオラクルアクセスによりεに関する多項式的依存が1/ε²から1/εに低下し、収束速度が著しく向上する。
• 強凸関数では、プロキシアクセスにより複雑度の依存が1/(λε)から1/√(λε)に低下し、再び顕著な改善が示された。
• 決定的と確率的アルゴリズムの間には顕著な複雑度ギャップが存在し、確率的手法がmおよびεにより良い依存関係を達成することが明らかになった。
• 下界が上界（対数的要因を除いて）と一致しており、AGD、A-SVRG、加速SDCAといった既存手法の最適性が証明された。