[論文レビュー] Avoiding Communication in Proximal Methods for Convex Optimization Problems

Saeed Soori, Aditya Devarakonda+3 more|arXiv (Cornell University)|Oct 24, 2017

Sparse and Compressive Sensing Techniques参考文献 1被引用数 3

ひとこと要約

本稿では、分散凸最適化における通信コストを低減するために、k反復をアンロールすることで通信を回避する stochastic FISTA (CA-SFISTA) およびプロキシマルニュートン法 (CA-SPNM) の変種を提案する。アルゴリズムを k 反復に一度だけ通信する形に再定式化することで、1024 ノードで最大 10 倍の高速化を達成した。収束速度と算術コストはそのままであり、現代の分散アーキテクチャにおけるスケーラビリティが顕著に向上した。

ABSTRACT

The fast iterative soft thresholding algorithm (FISTA) is used to solve convex regularized optimization problems in machine learning. Distributed implementations of the algorithm have become popular since they enable the analysis of large datasets. However, existing formulations of FISTA communicate data at every iteration which reduces its performance on modern distributed architectures. The communication costs of FISTA, including bandwidth and latency costs, is closely tied to the mathematical formulation of the algorithm. This work reformulates FISTA to communicate data at every k iterations and reduce data communication when operating on large data sets. We formulate the algorithm for two different optimization methods on the Lasso problem and show that the latency cost is reduced by a factor of k while bandwidth and floating-point operation costs remain the same. The convergence rates and stability properties of the reformulated algorithms are similar to the standard formulations. The performance of communication-avoiding FISTA and Proximal Newton methods is evaluated on 1 to 1024 nodes for multiple benchmarks and demonstrate average speedups of 3-10x with scaling properties that outperform the classical algorithms.

研究の動機と目的

• 通信コストがパフォーマンスを支配する分散環境における古典的 stochastic FISTA およびプロキシマルニュートン法のスケーラビリティ制限を解消すること。
• 大規模凸最適化における算術コストや帯域幅コストを増加させることなく、通信オーバーヘッド（特にレイテンシ）を低減すること。
• FISTA およびプロキシマルニュートン法を k ステップアンロール技術を用いて再定式化し、データを k 反復に一度だけ通信するようにすること。
• 通信回避型の再定式化が、古典的手法と同等の収束行動および安定性を維持しているかどうかを評価すること。
• 1 から 1024 プロセッサにわたる大規模データセット上で、強スケーリングおよびパフォーマンス向上を実証すること。

提案手法

• 古典的手法の SFISTA および SPNM アルゴリズムを k ステップアンロールし、通信前に k 反復分の更新を一度に計算することで、通信頻度を k 分の 1 に低減する。
• ランダムサンプリングを用いて計算と通信をオーバーラップさせ、分散環境における効率的なデータ移動と負荷分散を実現する。
• プロキシマルマッピングと更新ルールを再定式化し、古典的手法と算術的に同等の結果を得ることで、収束行動が同一であることを保証する。
• 通信コストを最小限に抑えるとともに数値的安定性と残差誤差を維持するためのデータ分割戦略を適用する。
• 異なる k 値およびハードウェアスケール間での公平な性能比較のため、修正された停止基準と許容誤差パラメータを採用する。
• 1024 ノードまでをカバーする分散クラスタ上で、合成データおよび実世界のデータセット（abalone, covtype, susy）を用いてアルゴリズムを評価する。

実験結果

リサーチクエスチョン

• RQ1 FISTA およびプロキシマルニュートン法において k 反復をアンロールすることで、収束速度や算術複雑度を変更せずに通信コストを低減できるか？
• RQ2 k の増加が、大規模データセットにおける分散最適化のレイテンシ、帯域幅、および全体的なパフォーマンスに与える影響は？
• RQ3 通信回避型の変種が、古典的手法の安定性および残差誤差をどの程度維持できるか？
• RQ4 k ステップ再定式化により、古典的実装と比較して分散プラットフォーム上でより優れた強スケーリングが達成できるか？
• RQ5 異なるデータセットおよびハードウェア構成において、通信回避型アルゴリズムが達成可能な最大の高速化はどれくらいか？

主な発見

• CA-SFISTA および CA-SPNM は、古典的手法の SFISTA および SPNM と比較して、1024 プロセッサで最大 10 倍の高速化を達成し、データセットにかかわらず一貫した性能向上を示した。
• 高速化は k の値とプロセッサ数の両方の増加に伴い増加し、レイテンシコストが k 倍低減されていることが実証された。
• k ステップアルゴリズムは強スケーリングを示し、プロセッサ数が増えるにつれて実行時間が減少した。一方、古典的手法は通信オーバーヘッドのため性能が劣化した。
• abalone データセットでは、k=32 のとき 64 ノードで 9.63 倍の高速化を達成し、小規模データセットでも顕著なパフォーマンス向上が確認された。
• k 値が 128 までにわたり、収束速度と残差誤差が安定しており、再定式化がアルゴリズム的挙動に悪影響を及げないことが確認された。
• k 値とプロセッサ数の増加に伴い、帯域幅が限界要因となることが示され、スケールアップにおいて帯域幅が性能を制限する要因となる。