[論文レビュー] GPU Accelerated Sub-Sampled Newton's Method

Sudhir B. Kylasa, Farbod Roosta-Khorasani+2 more|arXiv (Cornell University)|Feb 26, 2018

Stochastic Gradient Optimization Techniques参考文献 28被引用数 5

ひとこと要約

この論文は、ランダム化されたヘッセ行列と勾配のサンプリングを活用することで、大規模な機械学習における高速で安定した収束を達成する、GPUアクセラレートされた部分サンプルニュートン法を提案する。GPUの並列処理を活用することで、最小限のハイパーパrameterチューニングでミリ秒単位で高いテスト精度を達成でき、1st-order法と比較して最大100倍速い。

ABSTRACT

First order methods, which solely rely on gradient information, are commonly used in diverse machine learning (ML) and data analysis (DA) applications. This is attributed to the simplicity of their implementations, as well as low per-iteration computational/storage costs. However, they suffer from significant disadvantages; most notably, their performance degrades with increasing problem ill-conditioning. Furthermore, they often involve a large number of hyper-parameters, and are notoriously sensitive to parameters such as the step-size. By incorporating additional information from the Hessian, second-order methods, have been shown to be resilient to many such adversarial effects. However, these advantages of using curvature information come at the cost of higher per-iteration costs, which in \enquote{big data} regimes, can be computationally prohibitive. In this paper, we show that, contrary to conventional belief, second-order methods, when implemented appropriately, can be more efficient than first-order alternatives in many large-scale ML/ DA applications. In particular, in convex settings, we consider variants of classical Newton extsf{'}s method in which the Hessian and/or the gradient are randomly sub-sampled. We show that by effectively leveraging the power of GPUs, such randomized Newton-type algorithms can be significantly accelerated, and can easily outperform state of the art implementations of existing techniques in popular ML/ DA software packages such as TensorFlow. Additionally these randomized methods incur a small memory overhead compared to first-order methods. In particular, we show that for million-dimensional problems, our GPU accelerated sub-sampled Newton extsf{'}s method achieves a higher test accuracy in milliseconds as compared with tens of seconds for first order alternatives.

研究の動機と目的

• 悪条件な機械学習問題における1st-order法の収束の悪さとハイパーパrameterへの高い感受性を解決する。
• 大規模データ環境下での古典的ニュートン法の1イテレーションあたりのコストが高いため、勾配とヘッセ行列のランダム化部分サンプリングを用いてこれを克服する。
• 現代のハードウェア、特にGPU上で第二階層法が実用的かつ効率的であることを示す。
• TensorFlowにおける最先端の1st-order実装と比較して、GPUアクセラレーションを用いた部分サンプルニュートン法が、速度と精度の両面で優れていることを示す。
• ニュートン型手法における自然なステップサイズα=1を活用することで、広範なハイパーパrameterチューニングの必要性を低減する。

提案手法

• ニュートン型手法におけるヘッセ行列と勾配のランダム化部分サンプリングを用い、nにほぼ依存しない定数に近い1イテレーションあたりのコストに低減する。
• CUDAを用いてGPU最適化された部分サンプルニュートン法の実装を行い、行列演算と線形方程式系の解法を並列化する。
• 反復的ソルバー（例：共役勾配法）を用いた不正確な解法技術を適用し、早期終了を実施することで、さらに計算コストを削減する。
• 曲率情報のおかげで本質的に安定しているため、ラインサーチはまれにしか行わず、手動でのチューニングに依存しなくなる。
• 完全な行列を保持しないで、部分サンプルされたヘッセ行列と勾配の近似値のみを保持することで、メモリオーバーヘッドを低く抑える。
• 機械学習で一般的な有限和問題（例：経験的リスク最小化）をサポートするスケーラブルなフレームワークにこの手法を統合する。

実験結果

リサーチクエスチョン

• RQ1 GPUアクセラレーションを施した部分サンプルニュートン法は、大規模な機械学習問題において、収束速度と最終的なテスト精度の面で1st-order法を上回ることができるか？
• RQ2 GPUアクセラレーションは、大規模データ環境下での第二階層法の高い1イテレーションあたりのコストをどの程度軽減できるか？
• RQ3 部分サンプルニュートン法は、SGD、Adam、RMSPropなどの1st-order法と比較して、悪条件へのロバストネスにおいてどのように異なるか？
• RQ4 1st-order法は学習率の選定に対してどの程度感受性を示すか？ニュートン型手法は、広範なハイパーパrameterチューニングの必要性をどの程度低減できるか？
• RQ5 100万次元の問題に対しても、部分サンプルニュートン法はミリ秒単位で高いテスト精度を達成できるか？1st-order法は数十秒を要するのに対し。

主な発見

• 100万次元の問題において、GPUアクセラレートされた部分サンプルニュートン法はミリ秒単位で高いテスト精度を達成するが、1st-order法は数十秒を要する。
• Gisetteデータセットでは、FullNewtonは0.6秒（11イテレーション）で98.3％のテスト精度に到達し、1st-order法が97％に到達するまでに100イテレーションを要した。
• SubsampledNewton-100はGisetteで34イテレーションで98％のテスト精度に到達したが、1st-order法は20％バッチサイズでもゆっくりとした進捗を示した。
• Real-Simデータセットでは、ニュートン型手法は1st-order法と同等またはより低い目的関数値を、同等または短い時間で達成した。FullNewtonはわずか2イテレーションで97.3％の精度に到達した。
• SGD with Momentum、Adagrad、RMSProp、Adamといった1st-order法は、学習率に対して非常に感受性を示した：小さな値では停滞、大きな値では発散し、適切な性能を得られる範囲は狭かった。
• 部分サンプルニュートン法は自然なステップサイズα=1を用い、ラインサーチもまれにしか行わず、1st-order法とは異なり、初期ステップサイズの選定に非常に感受されにくい。