[論文レビュー] Newton-ADMM: A Distributed GPU-Accelerated Optimizer for Multiclass Classification Problems

Chih-Hao Fang, Sudhir B. Kylasa+3 more|arXiv (Cornell University)|Jul 18, 2018

Stochastic Gradient Optimization Techniques参考文献 47被引用数 6

ひとこと要約

本稿では、不正確ニュートン法とADMM共通化フレームワークを組み合わせることで、より高速な収束と低い通信コストを達成する分散型GPUアクセラレート最適化手法、Newton-ADMMを提案する。GPUアクセラレートHessian-ベクトル積とスペクトルペナルティパラメータ選択を活用することで、学習時間を短縮し一般化性能を向上させ、GIANTなどの最先端手法を上回り、大規模データセットでは最大11.14倍の高速化を達成する。

ABSTRACT

First-order optimization methods, such as stochastic gradient descent (SGD) and its variants, are widely used in machine learning applications due to their simplicity and low per-iteration costs. However, they often require larger numbers of iterations, with associated communication costs in distributed environments. In contrast, Newton-type methods, while having higher per-iteration costs, typically require a significantly smaller number of iterations, which directly translates to reduced communication costs. In this paper, we present a novel distributed optimizer for classification problems, which integrates a GPU-accelerated Newton-type solver with the global consensus formulation of Alternating Direction of Method Multipliers (ADMM). By leveraging the communication efficiency of ADMM, GPU-accelerated inexact-Newton solver, and an effective spectral penalty parameter selection strategy, we show that our proposed method (i) yields better generalization performance on several classification problems; (ii) significantly outperforms state-of-the-art methods in distributed time to solution; and (iii) offers better scaling on large distributed platforms.

研究の動機と目的

• 分散機械学習におけるSGDなどの一次元手法の高い通信コストと遅い収束を解決すること。
• GPUアクセラレーションと効率的なADMM定式化を活用して、ニュートン型手法の1イテレーションあたりの高コストを克服すること。
• 大規模分散マルチクラス分類問題における一般化性能の向上と学習時間の短縮。
• 高精度を維持しながらリソースのオーバーヘッドを最小限に抑えるスケーラブルで通信効率の良い最適化フレームワークの構築。
• 時間対ソリューションとスケーラビリティの面で最先端手法を上回る新しい分散最適化のベンチマークを確立すること。

提案手法

• グローバル共通化ADMMフレームワーク内にGPUアクセラレート不正確ニュートンソルバを統合し、計算コストと収束速度のバランスを図る。
• ADMMペナルティパラメータを動的に調整するスペクトルペナルティパラメータ選択（SPS）戦略を採用し、部分問題の解法精度と収束性を向上させる。
• GPU上で効率的に計算されるヘシアン-ベクトル積を活用し、完全なヘシアンの保存を回避し、スケーラブルな2次最適化を実現する。
• 分散ADMMアーキテクチャを採用し、ノード間で並列に局所部分問題を解き、双対上昇ステップによって共通化を強制する。
• ニュートン法の高速収束性とADMMの通信効率性を統合したハイブリッドアプローチを実装し、分散環境下で最適化を実現する。
• 相対的最適性ギャップ θ = (F(xᵏ) - F(x*)) / F(x*) を収束評価に使用するため、単一ノードのニュートン法から得られる高精度な基準解を用いる。

実験結果

リサーチクエスチョン

• RQ1 GPUアクセラレート不正確ニュートン法をADMMと統合することで、分散マルチクラス分類における一次元手法より収束が速く通信コストが低いか？
• RQ2 スペクトルペナルティパラメータ選択（SPS）戦略は、ADMMベースのニュートンソルバの収束性とロバスト性にどのように影響するか？
• RQ3 時間対ソリューションと一般化性能の面で、GIANTなどの最先端分散最適化手法に比べ、Newton-ADMMはどの程度優れているか？
• RQ4 特に28万特徴を持つ高次元データセットにおいて、Newton-ADMMは大規模分散プラットフォームでどの程度スケーリングするか？
• RQ5 大規模で現実世界のデータセットにおいて、高精度を維持しながら1エポックあたり1秒未塔の実行時間を達成できるか？

主な発見

• MNISTデータセットでは、Newton-ADMMはGIANTに比べ5.15倍の高速化を達成し、θ < 0.05に到達するまでに1086エポックのGIANTと比較して252エポックで完了した。
• CIFAR-10では、Newton-ADMMは11.14倍の高速化を達成し、GIANTの3215エポックに対し1204エポックで収束した。
• HIGGSデータセットでは、両手法とも急速に収束（1エポックずつ）したが、Newton-ADMMは他のデータセットで優れた性能を維持した。
• E18データセット（28万特徴）では、Newton-ADMMは1.98秒（32ノード）という1秒未塔のエポック時間で実行され、優れたスケーラビリティを示した。
• 図5(b)に示すように、Newton-ADMMはGIANTよりも低い目的関数値と高いテスト精度を、特に初期学習段階で迅速に達成した。
• Newton-ADMMは強いスケーリングと弱いスケーリングの両方を示し、大規模分散プラットフォームでも一貫した性能向上を示した。これにより、分散最適化の新しいパフォーマンスベンチマークとして確立された。