[論文レビュー] Kernel machines that adapt to GPUs for effective large batch training

Siyuan Ma, Mikhail A. Belkin|arXiv (Cornell University)|Jun 15, 2018

Advanced Neural Network Applications参考文献 30被引用数 4

ひとこと要約

この論文では、計算リソースに応じてカーネルを解析的に適応させることで、GPU上で拡張された線形スケーリングを可能にする、原理的で洗練されたフレームワークであるEigenPro 2.0を紹介する。この手法により、予測関数を変更せずに、1.3百万件のサンプルを含むImageNetを1台のTitan Xp GPUで1時間未塔でトレーニングが可能となり、ハイパーパramータのチューニングを最小限に抑えつつ、高速でインタラクティブな機械学習が実現される。

ABSTRACT

Modern machine learning models are typically trained using Stochastic Gradient Descent (SGD) on massively parallel computing resources such as GPUs. Increasing mini-batch size is a simple and direct way to utilize the parallel computing capacity. For small batch an increase in batch size results in the proportional reduction in the training time, a phenomenon known as linear scaling. However, increasing batch size beyond a certain value leads to no further improvement in training time. In this paper we develop the first analytical framework that extends linear scaling to match the parallel computing capacity of a resource. The framework is designed for a class of classical kernel machines. It automatically modifies a standard kernel machine to output a mathematically equivalent prediction function, yet allowing for extended linear scaling, i.e., higher effective parallelization and faster training time on given hardware. The resulting algorithms are accurate, principled and very fast. For example, using a single Titan Xp GPU, training on ImageNet with $1.3 imes 10^6$ data points and $1000$ labels takes under an hour, while smaller datasets, such as MNIST, take seconds. As the parameters are chosen analytically, based on the theoretical bounds, little tuning beyond selecting the kernel and the kernel parameter is needed, further facilitating the practical use of these methods.

研究の動機と目的

• 大バッチサイズでのカーネル機械学習の線形スケーリングの根本的限界、すなわち訓練時間がある臨界バッチサイズ $m^*$ を超えると頭打ちになる問題に対処すること。
• 学習済みの予測関数を変更せずに、現代のGPUの並列計算能力に合わせて $m^*$ を拡張する手法を開発すること。
• 最適化パラメータを理論的境界から解析的に導出することで、最適化の原理的かつ最小限のチューニングを実現し、高速でインタラクティブかつ洗練されたカーネル学習を可能にすること。
• ヒューリスティックなチューニングへの依存を減らし、ハードウェアに自動的に適応するフレームワークを提供することで、訓練の効率性とスケーラビリティを向上させること。

提案手法

• 標準のカーネルマシンを、データおよびリソースに依存するカーネルに変更することで、元の予測関数と数学的に同等の関係を維持する。
• 限定的な2次情報を取り出して最適化プロセスを再重み付けし、より高い有効バッチサイズと拡張された線形スケーリングを実現する。
• 理論的境界に基づいて解析的にチューニングされた反復的最適化スキーム（EigenPro反復）を用い、ハイパーパramータ探索の必要を最小限に抑える。
• カーネル再重み付けとバッチ処理により、メモリおよび計算コストを削減することで、GPU上での効率的な実装を可能にする。
• Laplacianカーネルを活用することで、Gaussianカーネルよりも大きな $m^*$ を得られ、より効果的な並列化が可能になる。
• 次元削減としてPCAを統合し、精度の著しい損失を伴わず特徴空間を短縮する実用的加速技術を提供する。

実験結果

リサーチクエスチョン

• RQ1 カーネル機械学習のトレーニングにおける線形スケーリングの限界を、現代のGPUの並列処理能力に合わせて解析的に拡張できるか？
• RQ2 同じ予測関数を維持しつつ、はるかに大きなバッチサイズと高速なトレーニングを実現するために、カーネルマシンをどのように変更できるか？
• RQ3 カーネルの選択（例：Laplacianカーネル対Gaussianカーネル）が、有効バッチサイズ $m^*$ およびトレーニング速度に与える影響は何か？
• RQ4 次元削減としてPCAを用いることで、モデル性能の劣化を最小限に抑えつつ、どの程度カーネルトレーニングを加速できるか？
• RQ5 最適化プロセスを解析的に原理的かつほとんどチューニングフリーにできるか？ また、最先端のトレーニング速度を達成できるか？

主な発見

• 提案されたフレームワークにより、標準的な $m^*$ の限界を超えて線形スケーリングが拡張され、非常に大きな規模でもバッチサイズに比例してトレーニング時間が短縮される。
• 1台のTitan Xp GPUで、130万件のサンプルと1000ラベルを含むImageNetのトレーニングが1時間未塔で完了し、高いスケーラビリティを示した。
• MNISTのような小さなデータセットでは、トレーニングが5秒未塔で完了し、インタラクティブで探索的な機械学習ワークフローが可能になった。
• LaplacianカーネルはGaussianカーネルよりも大きな $m^*$ を得られ、より効果的な並列化とハイパーパramータチューニングの必要性の低減を実現した。
• ImageNetで特徴次元を1536から500にPCAで削減したことで、トレーニングコストを著しく削減し、精度低下は0.2%未塔にとどまった。
• LibSVMやThunderSVMに比べ、トレーニング速度が優れており、わずかなチューニングで同等またはより高いテスト精度を達成した。