[論文レビュー] Lower Bound for Randomized First Order Convex Optimization

Blake Woodworth, Nathan Srebro|arXiv (Cornell University)|Sep 11, 2017

Stochastic Gradient Optimization Techniques参考文献 2被引用数 15

ひとこと要約

この論文は、$L$-リプシッツ連続関数をユークリッド球内での凸最適化に適用するランダム化された一次オラクル手法に対して、$Ω(L^2B^2/ε^2)$ 個のオラクルクエリが必須であるというタイトな下界を確立している。その際、ランダムな正規直交ベクトルを用いたmax-アフィン関数の族を明示的に構築している。この結果は、高次元においてもランダムな方向の推測が成功する可能性が低いにもかかわらず、ランダム化が最悪ケースの複雑さを決定的手法より低くはできないことを示している。

ABSTRACT

We provide an explicit construction and direct proof for the lower bound on the number of first order oracle accesses required for a randomized algorithm to minimize a convex Lipschitz function.

研究の動機と目的

• 文献におけるギャップを埋めるために、ランダム化された一次オラクル凸最適化の下界を直接的かつ明示的な構成によって与えること。これは、従来は再帰的で間接的な議論によってのみ示されていた。
• $L$-リプシッツ連続な凸関数を有界領域で最小化する際、ランダム化が最悪ケースのオラクル複雑さを改善しないことを示すこと。
• 高次元においてはランダム方向の推測が有利に働くように思えるにもかかわらず、アルゴリズムが決定的手法と同様に $Ω(L^2B^2/ε^2)$ のクエリ複雑さを回避できないことを示すこと。
• ヤオのミニマックス原理と球対称性の議論を用いた自己完備な証明を提供し、下界を教育的・さらなる解析に適した形で明確にすること。

提案手法

• $\mathbb{R}^d$ 内の正規直交ベクトル $\{v_j\}$ を用いて、$f(x) = \max_{1\leq j\leq k} \left(\langle x, v_j \rangle - jc\right)$ と定義される凸かつ $1$-リプシッツ連続な関数の族を構築する。ここで $k = 1/(4\epsilon^2)$、$c = \epsilon/k$ である。
• ランダムな正規直交基底 $\{v_j\}$ を用いて関数の分布を定義し、敵対的攻撃者が事前に関数を固定できないようにする。
• 決定的アルゴリズムが $t$ 回のクエリ以内に $\epsilon$-準最適解を見つけることができない確率を、そのクエリ方向が $j \geq t$ のいずれの $v_j$ に対しても大きく内積を持つ可能性を抑え込むことで分析する。
• 高次元におけるランダムベクトルの球対称性を用いて、クエリ方向が残りの $v_j$ のいずれに対しても大きな内積を持つ確率を、高次元球面上の表面積比によって抑え込む。
• 集中不等式と不等式 $1 - x \leq e^{-x}$ を用いて、各ステップにおける失敗確率の上界を導出し、$k$ ステップにわたる積として表す。
• ヤオのミニマックス原理を適用：ランダム関数分布上での期待クエリ数が $\Omega(1/\epsilon^2)$ であるような決定的アルゴリズムが存在するならば、任意のランダム化アルゴリズムに対しても、最悪ケースで $\Omega(1/\epsilon^2)$ の期待クエリ数が必要である。

実験結果

リサーチクエスチョン

• RQ1 ランダム化は、$L$-リプシッツ連続関数に対する一次オラクル凸最適化の最悪ケースのオラクル複雑さを、決定的手法よりも低くできるか？
• RQ2 ランダム化アルゴリズムに対して $\Omega(L^2B^2/\epsilon^2)$ の下界を明示的な構成によって確立できるか？ これは決定的ケースと一致する。
• RQ3 高次元におけるランダム方向のサンプリングは、一次最適化における敵対的関数構造を避ける意味ある優位性を提供するか？
• RQ4 下界は、再帰的または間接的議論ではなく、直接的な確率的解析によって導けるか？
• RQ5 ランダム方向の推測が関数構造に関する有用な情報を漏洩させないよう保証するための最小次元 $d$ は何か？

主な発見

• この論文は、$L$-リプシッツ連続な凸関数を半径 $B$ の球上で最小化する任意のランダム化された一次オラクルアルゴリズムに対して、$\Omega(L^2B^2/\epsilon^2)$ の期待クエリ数が必須であるタイトな下界を確立している。
• この下界は、次元 $d$ が十分に大きい場合、具体的には $d \geq \frac{2L^8B^8}{\epsilon^8} \log\left(\frac{L^4B^4}{\epsilon^4}\right)$ である場合にも成立し、ランダム方向の推測が優位性を持たないことを保証している。
• 構成では、ランダムな正規直交ベクトルを用いたmax-アフィン関数の族が用いられ、これによりアルゴリズムが過去のクエリから将来の方向に関する情報を得ることを防いでいる。
• 決定的アルゴリズムが $k = \Omega(1/\epsilon^2)$ 回のクエリ以内に $\epsilon$-準最適解を見つけることができない確率は $1$ から離れており、特に $d$ が十分に大きい場合には $15/16$ を超える。
• ヤオのミニマックス原理により、任意のランダム化アルゴリズムの期待クエリ数は少なくとも $\Omega(1/\epsilon^2)$ であることが示され、ランダム化が最悪ケースの複雑さを改善しないことが証明された。
• 非滑らかかつ強く凸でない問題において、ランダム化された一次オラクル手法は、最悪ケースのオラクル複雑さにおいて決定的手法を上回ることはできないことが確認された。