[論文レビュー] Acceleration with a Ball Optimization Oracle

Yair Carmon, Arun Jambulapati+5 more|arXiv (Cornell University)|Mar 18, 2020

Sparse and Compressive Sensing Techniques参考文献 21被引用数 4

ひとこと要約

本稿では、ℓ₂ノルムの半径 r の球内での関数の最小化点を返すボール最適化オラクルを用いた凸最適化の高速化アルゴリズムを提案する。著者らは、標準的な O(r^{-1} log(1/ε)) の境界に対し、O(r^{-2/3} log(1/ε)) のクエリ複雑度を達成し、最適性を示す一致する下界を提示した。この手法により、ヘッセ行列の安定性がある場合に、ロジスティック回帰、ℓ∞回帰、ℓp回帰といった回帰問題における収束速度が向上する。

ABSTRACT

Consider an oracle which takes a point $x$ and returns the minimizer of a convex function $f$ in an $\ell_2$ ball of radius $r$ around $x$. It is straightforward to show that roughly $r^{-1}\log\frac{1}ε$ calls to the oracle suffice to find an $ε$-approximate minimizer of $f$ in an $\ell_2$ unit ball. Perhaps surprisingly, this is not optimal: we design an accelerated algorithm which attains an $ε$-approximate minimizer with roughly $r^{-2/3} \log \frac{1}ε$ oracle queries, and give a matching lower bound. Further, we implement ball optimization oracles for functions with locally stable Hessians using a variant of Newton's method. The resulting algorithm applies to a number of problems of practical and theoretical import, improving upon previous results for logistic and $\ell_\infty$ regression and achieving guarantees comparable to the state-of-the-art for $\ell_p$ regression.

研究の動機と目的

• 与えられた点の周囲の ℓ₂ ボール内での関数の最小化点を返すボール最適化オラクルに依存する一次最適化法のクエリ複雑度を改善すること。
• 標準的な O(r^{-1}) のクエリ複雑度と理論的下界の間のギャップを埋め、O(r^{-2/3}) が最小化のための最適であることを示すこと。
• 局所的に安定したヘッセ行列を有する関数に対して、修正されたニュートン法を用いてボール最適化オラクルを効率的に実装すること。
• 加速フレームワークを実用的な回帰問題、特にロジスティック回帰、ℓ∞回帰、ℓp回帰に応用し、最先端または改善された収束レートを達成すること。

提案手法

• 著者らは、正則化パラメータ λ を動的に調整するプロキシマル部分問題を解くことで、モンテイロ＝スヴァイター（MS）オラクルフレームワークの加速版を用いる。
• λ に対する二分探索を用いて、λ = λ_r(y(λ)) という暗黙の式の解を近似することで、ボール最適化オラクルへの効率的アクセスを実現する。
• 主な革新点は、収束速度を ||x_{k+1} - y_k|| との距離に関連付けることにある。この距離は、最後の反復を除きすべての反復で r 未満に抑えられ、これにより (R/r)^{2/3} の複雑度が得られる。
• ヘッセ行列が r ボール内での変動が定数倍以内に収まる「局所的安定ヘッセ行列」を有する関数に対して、著者らはヘッセ行列重み付きノルムにおけるネステロフの加速勾配法を用いてボールオラクルを実装する。
• 正規化された難易度関数（ネミロフスキー関数）のロバストなゼロチェーン性を活用し、任意の r 局所的オラクルを用いるアルゴリズムに対して、Ω((R/r)^{2/3}) の一致する下界を証明する。
• 分析ではヤオのミニマックス原理と確率的射影への集中不等式を用い、r ボールから逸脱する確率を抑え、最悪入力分布下での下界を確立する。

実験結果

リサーチクエスチョン

• RQ1 一次最適化法がボール最適化オラクルに依存する場合、O(r^{-1}) を超えてクエリ複雑度を改善できるか？
• RQ2 O(r^{-2/3}) のクエリ複雑度は、このようなオラクルを用いた滑らかな凸関数の最小化において達成可能かつ最適か？
• RQ3 局所的に安定したヘッセ行列を有する関数に対して、ボール最適化オラクルを効率的に実装できるか？
• RQ4 加速フレームワークは、ロジスティック回帰や ℓp 回帰といった実用的回帰問題において、どのように性能を発揮するか？
• RQ5 r ボール内でのみオラクルアクセスが可能である場合の、情報理論的最適限界は何か？

主な発見

• 提案されたアルゴリズムは、ε-近似最小化点を求める際、O(r^{-2/3} log(1/ε)) のクエリ複雑度を達成し、標準的な O(r^{-1} log(1/ε)) の境界を著しく改善する。
• 任意の r 局所的オラクルを用いるアルゴリズムに対して、Ω((R/r)^{2/3}) の一致する下界が証明され、提案された複雑度の最適性が示された。
• この手法により、ロジスティック回帰、ℓ∞回帰、ℓp回帰において、収束速度が向上し、最先端のレートに一致するか、それを上回る。
• 局所的に安定したヘッセ行列を有する関数に対して、ヘッセ行列重み付き加速勾配法を用いてボール最適化オラクルを効率的に実装した。
• 分析により、収束速度が MS オラクルの中間点 y_k と x_{k+1} の間の二乗距離に依存することが判明し、この距離は r で抑えられるため、複雑度の向上が可能となった。
• r 局所的オラクルが r ボール内でのすべての関数値を明らかにする場合でさえ、下界が成立することから、複雑度の限界の堅牢性が示された。