[論文レビュー] Mini-batch stochastic gradient descent with dynamic sample sizes

Michael R. Metel|arXiv (Cornell University)|Aug 2, 2017

Stochastic Gradient Optimization Techniques参考文献 9被引用数 5

ひとこと要約

本稿では、勾配推定の不確実性に基づき次元ごとにバッチサイズを適応的に調整することで、高い確率で降下方向を保証する、確率的勾配降下法（SGD）のための動的ミニバッチサンプルサイズルールを提案する。この手法は、標本共分散から導かれる信頼区間を用い、無駄な計算を最小限に抑えつつ収束を改善し、固定バッチサイズのSGDを上回る性能を示す。2つの実世界の最適化問題において実証された。

ABSTRACT

We focus on solving constrained convex optimization problems using mini-batch stochastic gradient descent. Dynamic sample size rules are presented which ensure a descent direction with high probability. Empirical results from two applications show superior convergence compared to fixed sample implementations.

研究の動機と目的

• 大規模な凸最適化におけるミニバッチSGDの計算コストと勾配推定の精度のトレードオフを解消すること。
• 使用するサンプル数を最小限に抑えつつ、高い確率で降下方向を保証するサンプルサイズルールを開発すること。
• 勾配の不確実性に基づきバッチサイズを動的に調整することで、実用的な収束速度の向上を図ること。
• 過剰な計算を伴わずに分散を低減する、固定バッチサイズSGDの実用的で適応的な代替手法を提供すること。

提案手法

• 勾配はサイズ $ N^i $ のミニバッチを用いて推定され、標本平均 $ \hat{g}(x^i) $ と標本共分散行列 $ \hat{\Sigma}(x^i) $ が計算される。
• 各次元 $ k $ について、真の勾配 $ g(x^i)_k $ が正（または負）である確率は、標準正規分布の累積分布関数を用いて推定される：$ \Phi\left( \frac{|\hat{g}(x^i)_k|}{\sqrt{\hat{\Sigma}(x^i)_{kk}}} \right) $。
• 目標とする降下確率 $ 1 - \alpha $ を達成するための次元ごとのサンプルサイズルールは、$ N_k^{i+1} = \left\lceil N_k^i \cdot \frac{\hat{\Sigma}(x^i)_{kk} \cdot (\Phi^{-1}(1 - \alpha))^2}{\hat{g}(x^i)^2_k} \right\rceil $ で与えられる。
• また、全次元にわたって同じロジックを適用する単一のサンプルサイズルールも提案されている。この場合、最大の勾配絶対値と平均共分散を用いる。
• アルゴリズムは、これらの動的バッチサイズをSGD更新式に適用する：$ x^{i+1} = \pi\left( x^i - \frac{\eta^i}{N^i} \sum_{j=1}^{N^i} \nabla F(x^i, y_j^i) \right) $。
• この手法は勾配推定の漸近正規性を仮定し、t分布の近似を用いるが、計算の実行可能性を高めるために後で正規分布に簡略化される。

実験結果

リサーチクエスチョン

• RQ1 動的サンプルサイズ選択は、降下確率を高い確率で保証しつつ、ミニバッチSGDの収束を改善できるか？
• RQ2 信頼度 $ 1 - \alpha $ で降下方向を保証するための、各次元に必要な最小サンプル数は何か？
• RQ3 次元ごとの適応的サンプリングは、固定バッチサイズSGDと比較して収束速度と安定性の面で優れているか？
• RQ4 実世界の応用において、最適化性能を損なわずに計算コストを削減できるか？

主な発見

• 次元ごとの勾配不確実性に基づく動的サンプルサイズルールは、32、256、512の固定バッチサイズを用いたSGDと比較して、収束速度が顕著に向上した。
• ニュースベンドラー問題では、基本的なSGDとAdam最適化の両方において、次元ごとのルールが固定バッチサイズ法を上回る収束速度を達成した。
• オプションポートフォリオ問題においては、動的アプローチが期待効用の時間的推移において、固定バッチサイズ実装を上回った。
• 両方のテスト応用において、次元ごとの更新ルールは単一生産サイズルールを常に上回った。
• 降下を保証するために必要な場合にのみバッチサイズを適応させるため、最小限の計算オーバーヘッドで優れた収束が観察された。
• 実験的結果は、この手法が冗長なサンプリングを最小限に抑えつつ、高い降下確率を維持することを確認した。