[論文レビュー] Faster SGD Using Sketched Conditioning

Alon Gonen, Shai Shalev‐Shwartz|arXiv (Cornell University)|Jun 8, 2015

Stochastic Gradient Optimization Techniques参考文献 10被引用数 11

ひとこと要約

本稿では、データ相関行列 $ C $ の平方根 $ A = C^{1/2} $ をスケッチ技術を用いて効率的に計算することで、SGD の収束を高速化する Sketching-based Conditioned Stochastic Gradient Descent (SCSGD) を提案する。この手法は凸および非凸設定において顕著な収束速度の向上を示し、MNIST および SVHN データセットにおける実験では、標準的な SGD よりも迅速な学習およびテスト誤差の低下を確認した。

ABSTRACT

We propose a novel method for speeding up stochastic optimization algorithms via sketching methods, which recently became a powerful tool for accelerating algorithms for numerical linear algebra. We revisit the method of conditioning for accelerating first-order methods and suggest the use of sketching methods for constructing a cheap conditioner that attains a significant speedup with respect to the Stochastic Gradient Descent (SGD) algorithm. While our theoretical guarantees assume convexity, we discuss the applicability of our method to deep neural networks, and experimentally demonstrate its merits.

研究の動機と目的

• 大規模な経験的リスク最小化問題における確率的勾配降下法（SGD）の高速化を目的とする。
• 各イテレーションのコストを増加させることなく、収束速度を向上させる計算的に効率的な条件付け行列 $ A $ の開発を目的とする。
• 凸設定から非凸設定（例えば深層ニューラルネットワーク）への条件付けフレームワークの拡張を目的とする。
• 標準的な視覚ベンチマーク（MNIST や SVHN など）上で、手法の実験的妥当性を検証することを目的とする。

提案手法

• 正定値行列 $ A $ を用いて更新ルールを変更する条件付け SGD を提案し、$ W_{t+1} = W_t - \eta (\nabla \ell_{y_i}(W_t x_i)) (A^{-1} x_i)^\top $ を得る。
• データ相関行列 $ C = \frac{1}{m} \sum_{i=1}^m x_i x_i^\top $ の平方根 $ C^{1/2} $ の近似としてスケッチ技術を用い、$ C^{1/2} $ の高速かつ低ランク近似を可能にする。
• 主な学習ループのパフォーマンスボトル neck を避けるために、別スレッドで $ A^{-1} $ を事前に計算する。
• Im2Col を用いて畳み込み層をアフィン層に変換し、ネットワーク全体の層に均一に条件付けを適用する。
• ReLU や Xavier 初期化、Nesterov のモーメンタムなどの標準的なディープラーニング部品を採用しながら、標準的な SGD 更新を条件付け更新に置き換える。
• トレースノルムに基づく上界を用いて、理論的仮定のもとで最適な条件付け行列 $ A = C^{1/2} $ を導出する。

実験結果

リサーチクエスチョン

• RQ1 スケッチ技術を用いて、大規模学習における SGD の収束を高速化する条件付け行列を効率的に計算できるか？
• RQ2 凸設定において、条件付け行列 $ A = C^{1/2} $ は標準的な SGD よりも収束が速いか？
• RQ3 計算コストの増加を最小限に抑えながら、非凸な深層ニューラルネットワークへの条件付けフレームワークの拡張は可能か？
• RQ4 実世界の視覚データセット（MNIST や SVHN）において、SCSGD は標準的な SGD と比べて、学習誤差およびテスト誤差の収束が速いか？

主な発見

• SCSGD は MNIST および SVHN データセットにおいて、標準的な SGD よりも顕著に収束が速く、あらゆる指標で誤差がより速く減少する。
• MNIST では、多クラスログロスで測定した訓練誤差およびテスト誤差が、SGD よりも速く低下し、テスト誤差が1.5％未満に下がるまでの時間が短縮された。
• SVHN では、SGD よりも早く低いテスト誤差（約1.3％）を達成しており、さまざまなアーキテクチャにおいて一貫した高速化が確認された。
• SCSGD は、ハイパーパramータおよびネットワークアーキテクチャを標準的な SGD と同一に保ちつつ、更新ルールを条件付け行列の計算に置き換えるのみである。
• スケッチにより計算された条件付け行列 $ A = C^{1/2} $ は、理論的な加速比が最大 $ \min\{n,p\} $ に達し、初期学習段階では実効的な向上が2倍以上にのぼった。
• 条件付け行列のスケッチは並列処理が可能であり、主な学習ループに実行時間のペナルティを生じさせない。