[論文レビュー] Scalable Adaptive Stochastic Optimization Using Random Projections

Gabriel Krummenacher, Brian McWilliams+3 more|arXiv (Cornell University)|Nov 21, 2016

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

この論文は、フル行列ADAGRADを近似するためのランダム射影を用いるスケーラブルな適応的確率的最適化手法RADAGRADを提案する。これにより、計算コストの一部に抑えつつ、2次情報の効率的捕捉が可能になる。深層ニューラルネットワークの学習において、特に低有効ランク設定下で、対角ADAGRADよりも高速な収束と優れた性能を達成する。

ABSTRACT

Adaptive stochastic gradient methods such as AdaGrad have gained popularity in particular for training deep neural networks. The most commonly used and studied variant maintains a diagonal matrix approximation to second order information by accumulating past gradients which are used to tune the step size adaptively. In certain situations the full-matrix variant of AdaGrad is expected to attain better performance, however in high dimensions it is computationally impractical. We present Ada-LR and RadaGrad two computationally efficient approximations to full-matrix AdaGrad based on randomized dimensionality reduction. They are able to capture dependencies between features and achieve similar performance to full-matrix AdaGrad but at a much smaller computational cost. We show that the regret of Ada-LR is close to the regret of full-matrix AdaGrad which can have an up-to exponentially smaller dependence on the dimension than the diagonal variant. Empirically, we show that Ada-LR and RadaGrad perform similarly to full-matrix AdaGrad. On the task of training convolutional neural networks as well as recurrent neural networks, RadaGrad achieves faster convergence than diagonal AdaGrad.

研究の動機と目的

• 高次元問題におけるフル行列ADAGRADの高い計算コストに対処すること。
• 特徴の相関を捉えることができる、スケーラブルな2次情報の近似を開発すること。
• ストレージと計算複雑性を低減させつつも、強固な理論的保証を維持すること。
• 特に畳み込みニューラルネットワーク（CNNs）や再帰ニューラルネットワーク（RNNs）のような低有効ランク構造を持つモデルにおいて、最適化性能を向上させること。
• 大規模な深層学習における、フル行列ヘッシアン近似を用いた適応的確率的最適化の実用的利用を可能にすること。

提案手法

• 勾配外積の次元を低下させるために、構造的ランダム射影（例：SRFT）を用いるADA-LRを提案する。
• 高速なランダム射影を用いてヘッシアン近似行列の逆平方根を近似し、計算コストをp倍低減する。
• ランダム化SVDおよびQR分解を用いてADA-LRの最も計算コストの高いステップを最適化する、完全にスケーラブルな変種であるRADAGRADを導入する。
• 収束安定性を向上させるために、SVRGスタイルの更新を用いた、RADAGRADの分散低減版を採用する。
• 効率的かつGPUフレンドリーな計算を実現するため、構造的ランダム射影（例：部分抽出ランダム化フーリエ変換）を用いる。
• 理論的レグルスバウンドをフル行列ADAGRADに近づけるように、最適化フレームワークを変更する。

実験結果

リサーチクエスチョン

• RQ1 理論的保証を維持したまま、ランダム射影がフル行列ADAGRADの近似項を効果的に近似できるか？
• RQ2 ランダム化近似の性能は、収束性とレグルスの観点で、フル行列ADAGRADと比較してどうなるか？
• RQ3 提案手法は、深層学習タスクにおいて、対角ADAGRADよりも高速な収束を達成できるか？
• RQ4 分散低減は、ランダム化適応的最適化の実用的性能にどのような影響を与えるか？
• RQ5 本手法は、低有効ランク構造を持つ高次元の深層学習問題に、効率的にスケーリングできるか？

主な発見

• Penn Treebank言語モデリングタスクにおいて、RADAGRAD（分散低減あり）は学習損失を2.7倍低減（5.62×10⁻⁴ vs. 1.52×10⁻³）した。
• RADAGRADはテスト損失を2.8倍低減（1.15×10⁻² vs. 3.23×10⁻²）し、学習および一般化性能の両面でADAGRADを上回った。
• RADAGRADが選択した学習率は、ADAGRADの約10倍大きく、より積極的な更新が可能だった。
• 畳み込みおよび再帰的ニューラルネットワークタスクの両方において、RADAGRADはADAGRADおよびADAGRAD+SVRGよりも高速な収束を達成した。
• ADAGRADより1回の反復あたり5〜10倍遅いものの、収束が速いため、全体の最適化時間を短縮した。
• 指数的忘却スキーム（例：ADAMと同様）は性能を劣化させたため、RADAGRADのコアフレームワークはこのような変更に敏感であることが示された。