[論文レビュー] Stochastic Subspace Descent

David Kozak, Stephen Becker+2 more|arXiv (Cornell University)|Apr 1, 2019

Stochastic Gradient Optimization Techniques参考文献 87被引用数 8

ひとこと要約

本稿では、関数評価が高価で勾配が入手できない状況において、勾配をランダムな低次元部分空間に投影することで、効率的でスケーラブルな最適化を可能にする、勾配フリー最適化手法である Stochastic Subspace Descent (SSD) を提案する。この手法は凸性の仮定の下で収束を示し、機械学習およびPDE制約付き最適化の非凸問題において、勾配降下法やBFGSを上回る性能を発揮する。特に、ガウス過程のハイパーパrameterチューニングや形状最適化の応用において有効である。

ABSTRACT

We present two stochastic descent algorithms that apply to unconstrained optimization and are particularly efficient when the objective function is slow to evaluate and gradients are not easily obtained, as in some PDE-constrained optimization and machine learning problems. The basic algorithm projects the gradient onto a random subspace at each iteration, similar to coordinate descent but without restricting directional derivatives to be along the axes. This algorithm is previously known but we provide new analysis. We also extend the popular SVRG method to this framework but without requiring that the objective function be written as a finite sum. We provide proofs of convergence for our methods under various convexity assumptions and show favorable results when compared to gradient descent and BFGS on non-convex problems from the machine learning and shape optimization literature. We also note that our analysis gives a proof that the iterates of SVRG and several other popular first-order stochastic methods, in their original formulation, converge almost surely to the optimum; to our knowledge, prior to this work the iterates of SVRG had only been known to converge in expectation.

研究の動機と目的

• .
• 勾配の計算が高価または不可能な状況、たとえばPDE制約付き最適化やガウス過程の設定にまで拡張された確率的最適化を実現すること。
• 軸に沿った更新に限らない、ランダムな部分空間を許容する枠組みを構築し、座標降下法の一般化を達成すること。
• 有限和構造がなくても、期待リスク最小化（ERM）構造を必要としない状況においても、SVRG手法を非有限和問題に適応可能にする。
• 強い凸性やLipschitz勾配条件を含む、さまざまな凸性仮定の下で理論的収束保証を提供すること。

提案手法

• .
• ランダムな ℓ 次元部分空間に全勾配を射影する。そのために、E[PP⊤] = Id かつ P⊤P = (d/ℓ)Iℓ を満たすランダム行列 P を用いる。
• 各反復で、xk+1 = xk − αPkP⊤k∇f(xk) により反復点を更新し、ランダム部分空間に沿った射影勾配の方向に勾配降下を実行する。
• P が対角行列の場合、この手法はランダム化ブロック座標降下法に一般化されるが、任意の部分空間方向を許容可能である。
• 本稿では、有限和構造がなくても、勾配のスナップショットに基づく制御変数を用いることで、SVRGをこの枠組みに拡張する。
• 理論的分析には、凸、強い凸、Lipschitz連続勾配の設定における収束証明が含まれ、明示的な収束レートが導出されている。

実験結果

リサーチクエスチョン

• RQ1 .
• RQ2 勾配が入手不可能または計算が高価な状況において、Stochastic Subspace Descent は勾配降下法と同等の収束レートを達成できるか？
• RQ3 機械学習およびPDE制約付き最適化の非凸問題において、SSDの性能は標準的な勾配降下法やBFGSと比べてどのように異なるか？
• RQ4 本部分空間枠組みを用いることで、SVRGの分散低減技術を非有限和問題に成功裏に拡張できるか？
• RQ5 強い凸性やLipschitz勾配を含む、さまざまな凸性仮定の下で、SSDの理論的収束特性はどのようなものか？
• RQ6 ガウス過程のハイパーパrameter最適化などの実応用において、SSDは既存の勾配フリー手法を上回る性能を示すか？

主な発見

• .
• 強い凸性の下で、ステップサイズ α = ℓ/(dλ) を用いることで、SSDは線形収束率を達成し、E[fe(xk)] ≤ (1 − ℓγ/(dλ))k fe(x0) が成り立つ。
• Lipschitz勾配を有する凸関数に対しては、SSDは O(1/k) の劣線形収束率を達成し、E[fe(xk)] ≤ 2dλR²/(kℓ) が成り立つ。
• 機械学習および形状最適化の非凸問題において、SSDは標準的な勾配降下法やBFGSを上回り、収束が速く、ロバストであることが示された。
• 拡張されたSVRGバージョンは、強い凸性の下で確実な収束と線形収束率を達成し、再帰関係 E[fe(˜xs)] ≤ β E[fe(˜xs−1)] において β = 1/(αγm(1 − αλρ)) が成り立つ。
• 実験的結果から、SSDは勾配計算が関数評価と同等に高価な状況、たとえばPDE制約付き最適化やスパースガウス過程において特に有効であることが示された。
• 理論的分析により、SSDは勾配降下法と同様の収束特性を維持しつつ、高次元で評価コストの高い問題において顕著な計算コストの削減を実現可能であることが確認された。