[論文レビュー] Hemingway: Modeling Distributed Optimization Algorithms

Xinghao Pan, Shivaram Venkataraman+2 more|arXiv (Cornell University)|Feb 20, 2017

Stochastic Gradient Optimization Techniques参考文献 31被引用数 22

ひとこと要約

Hemingwayは、分散最適化アルゴリズムの収束速度とシステム性能を、さまざまなクラスターサイズにおいて予測するブラックボックスモデリングシステムを提案する。これにより、最適なアルゴリズムと設定の選択が可能になる。システムレベルのタイミングモデルと収束速度モデルを統合することで、ハイパーパrameterチューニングにおける試行錯誤を低減し、初期の結果では分散ML環境における凸最適化ワークロードにおいて有望な結果が得られている。

ABSTRACT

Distributed optimization algorithms are widely used in many industrial machine learning applications. However choosing the appropriate algorithm and cluster size is often difficult for users as the performance and convergence rate of optimization algorithms vary with the size of the cluster. In this paper we make the case for an ML-optimizer that can select the appropriate algorithm and cluster size to use for a given problem. To do this we propose building two models: one that captures the system level characteristics of how computation, communication change as we increase cluster sizes and another that captures how convergence rates change with cluster sizes. We present preliminary results from our prototype implementation called Hemingway and discuss some of the challenges involved in developing such a system.

研究の動機と目的

• 与えられたMLワークロードに対して、最適な分散最適化アルゴリズムとクラスタ構成を選択する課題に対処すること。
• クラスターサイズの増加に伴い、収束速度とシステムレベルのパフォーマンス（計算＋通信）がどのように変化するかをモデル化すること。
• トレーニング時間と収束行動の予測モデルを構築することで、試行錯誤に依存するのを減らすこと。
• 与えられた問題とデータに対して、最良のアルゴリズムとクラスタ構成を自動的に推奨できるようにすること。
• アダプティブおよび非同期最適化設定へとアプローチを拡張し、最終的にはディープラーニングのような非凸問題へと応用すること。

提案手法

• クラスターサイズに基づいて1イテレーションあたりの実行時間を予測するシステムレベルのモデルを構築し、計算と通信のトレードオフを捉える。
• 並列処理の増加に伴い最適化誤差がどのように減少するかを追跡する別個の収束速度モデルを開発する。
• 両モデルを統合し、異なる設定における総トレーニング時間（1イテレーションあたりの時間 × イテレーション回数）を推定する。
• 実際の分散ワークロード上でモデルをキャリブレーションおよび検証するために、CoCoA+を用いたプロトタイプ評価を実施する。
• トレーニングデータとリソースコストを最小限に抑えるために、実験設計やデータサブセットのブートストラップ技術を活用する。
• アルゴリズム固有の内部構造を必要としないブラックボックスモデルとしてシステムを設計し、多様な分散最適化アルゴリズムに適用可能にする。

実験結果

リサーチクエスチョン

• RQ1 クラスターサイズの増加に伴い、分散最適化アルゴリズムの収束速度はどのように変化するか？
• RQ2 データ並列設定において、クラスターサイズの増加に伴い1イテレーションあたりの時間（計算＋通信）はどのように変化するか？
• RQ3 システムパフォーマンスモデルと収束速度モデルを統合することで、与えられたML問題に対して最適なクラスターサイズとアルゴリズムを予測できるか？
• RQ4 どのようなデータ取得戦略が、モデルの正確性を維持しつつトレーニングのオーバーヘッドを最小限に抑えるか？
• RQ5 このモデリングフレームワークは、非同期アルゴリズムやディープラーニングのような非凸最適化問題へと拡張可能か？

主な発見

• クラスターサイズの増加により1イテレーションあたりの計算時間が短縮されるが、通信オーバーヘッドが増加し、総トレーニング時間にトレードオフが生じる。
• CoCoAなどのアルゴリズムでは、1イテレーションあたりの時間が短縮されても、クラスターサイズが大きくなると局所的更新の品質が低下し、収束速度が劣化する。
• システムレベルモデルと収束モデルの統合により、最適な設定の正確な予測が可能となり、トレーニング時間を最小限に抑えることができる。
• CoCoA+を用いた初期の結果では、異なるパーティションサイズやイテレーション数にわたる収束速度の外挿が可能であることが示された。
• 収束の進行に伴い並列度を調整するなど、トレーニング中の適応的再構成を支援できる。
• 非凸最適化へのスケーリングおよび、効率的なサンプリングとブートストラップによるデータ収集コストの低減には、まだ課題が残っている。