[論文レビュー] Stochastic Gradient Descent on Highly-Parallel Architectures

Yujing Ma, Florin Rusu+1 more|arXiv (Cornell University)|Feb 24, 2018

Stochastic Gradient Optimization Techniques参考文献 34被引用数 7

ひとこと要約

本論文は、一般化線形モデルにおけるマルチコアCPUおよびGPUにおける同期的・非同期的確率的勾配降下法（SGD）の包括的性能評価を提示する。GPU向けに最適化された非同期SGDアルゴリズムを導入し、ワープシャッフルとキャッシュコalescingを活用する。同期モードではGPUがCPUを400倍以上上回る性能を示すが、非同期CPUは依然として最も安全な選択肢であり、データレプリケーションを用いたGPUは特定の状況で優れた性能を発揮する。

ABSTRACT

There is an increased interest in building data analytics frameworks with advanced algebraic capabilities both in industry and academia. Many of these frameworks, e.g., TensorFlow and BIDMach, implement their compute-intensive primitives in two flavors---as multi-thread routines for multi-core CPUs and as highly-parallel kernels executed on GPU. Stochastic gradient descent (SGD) is the most popular optimization method for model training implemented extensively on modern data analytics platforms. While the data-intensive properties of SGD are well-known, there is an intense debate on which of the many SGD variants is better in practice. In this paper, we perform a comprehensive study of parallel SGD for training generalized linear models. We consider the impact of three factors -- computing architecture (multi-core CPU or GPU), synchronous or asynchronous model updates, and data sparsity -- on three measures---hardware efficiency, statistical efficiency, and time to convergence. In the process, we design an optimized asynchronous SGD algorithm for GPU that leverages warp shuffling and cache coalescing for data and model access. We draw several interesting findings from our extensive experiments with logistic regression (LR) and support vector machines (SVM) on five real datasets. For synchronous SGD, GPU always outperforms parallel CPU---they both outperform a sequential CPU solution by more than 400X. For asynchronous SGD, parallel CPU is the safest choice while GPU with data replication is better in certain situations. The choice between synchronous GPU and asynchronous CPU depends on the task and the characteristics of the data. As a reference, our best implementation outperforms TensorFlow and BIDMach consistently. We hope that our insights provide a useful guide for applying parallel SGD to generalized linear models.

研究の動機と目的

• 計算アーキテクチャ、モデル更新戦略（同期／非同期）、およびデータスパarsityがSGDの性能に与える影響の組み合わせ的影響を理解すること。
• CPUで広く使われているHogwildとは対照的に、GPU向けに最適化された非同期SGDカーネルの欠落という、既存の文献におけるギャップを埋めること。
• ハードウェア効率、統計的効率、収束までの時間という観点から、最適なSGD設定（アーキテクチャ、更新戦略、データ処理）を選択するための実用的ガイドラインを提供すること。
• TensorFlow や BIDMach といった業界標準フレームワークと比較し、一貫した性能優位性を実現することを目的として、提案された実装をベンチマークすること。

提案手法

• ワープシャッフルやキャッシュコalescingといったアーキテクチャ的特徴を活用し、効率的なデータおよびモデルアクセスを実現するGPU向け最適化非同期SGDアルゴリズムの設計および実装。
• 非同期設定において、GPUスレッド間でトレーニングデータを分割し、アトミック演算を用いてモデル更新を行うことで、同期のオーバーヘッドを最小限に抑える。
• 更新競合の低減と非同期GPU実行における負荷バランスの向上を図るため、複数のデータ組織化およびレプリケーション戦略を検討する。
• マルチコアCPU（NUMA）およびGPUに、同期および非同期SGDの両方のバリアントを実装し、性能に影響を与える重要な操作には高度に最適化された線形代数カーネルを適用する。
• ロジスティック回帰およびサポートベクターマシンをテストモデルとして用い、5つの実世界データセットを用いて性能を測定する。
• 主な評価指標として、ハードウェア効率（計算リソースの活用度）、統計的効率（収束速度および解の品質）、収束までの時間を用いる。

実験結果

リサーチクエスチョン

• RQ1 マルチコアCPUおよびGPUにおけるSGDの性能に、同期的・非同期的モデル更新の選択がどのように影響するか？
• RQ2 データスパarsityが、異なるアーキテクチャにおける並列SGDの効率性および収束性に与える影響は何か？
• RQ3 GPU向けに最適化された非同期SGDアルゴリズムは、収束までの時間という観点から、既存の同期GPUおよび非同期CPU実装を上回ることができるか？
• RQ4 多様な実世界データセットにおいて、同期GPU、非同期CPU、およびデータレプリケーションを施したGPUの性能特性はどのように比較できるか？
• RQ5 ワープシャッフルやキャッシュコalescingといったアーキテクチャ最適化は、GPU上での非同期SGDの効率をどの程度向上させることができるか？

主な発見

• 同期SGDにおいては、GPUがシーケンシャルなCPU実装と比較して、常に400倍以上の性能を発揮する。
• 非同期SGDにおいては、更新競合のオーバーヘッドが最小限であるため、並列CPUが最も信頼性が高く安全な選択肢である。一方、データレプリケーションを用いたGPUは、特定のスパarsityレベルおよびモデルサイズの状況で優れた性能を示す。
• 同期GPUと非同期CPUの選択は、データ特性およびタスクの種別に強く依存しており、万能な解決策は存在しない。
• ワープシャッフルとキャッシュコalescingを活用した本研究で提案するGPU最適化非同期SGDアルゴリズムは、ベースラインGPU実装と比較して顕著な性能向上を達成する。
• 本研究で最も優れた性能を示した実装は、すべての評価対象データセットおよびモデルで、TensorFlowおよびBIDMachを常に上回る性能を発揮する。
• 同期SGDではGPUでハードウェア効率が最大化されるが、非同期CPUでは更新競合が少ないため、統計的効率がしばしば高い。