[論文レビュー] Machine Learning Systems for Highly-Distributed and Rapidly-Growing Data

Kevin Hsieh|arXiv (Cornell University)|Oct 18, 2019

Neural Networks and Applications被引用数 4

ひとこと要約

本学位論文は、アルゴリズム的・モデル的・データ的特性を活用することで、急速に拡大するグローバル分散型データに対して、レイテンシとコストを1〜2桁低減する機械学習システムのスイートを提示する。低レイテンシ・低コストの大規模動画データ向けサービング、最適化された通信による高速な地理的分散型トレーニング、分散トレーニングにおける非IIDデータパーティションに対する画期的な解決策を導入する。

ABSTRACT

The usability and practicality of any machine learning (ML) applications are largely influenced by two critical but hard-to-attain factors: low latency and low cost. Unfortunately, achieving low latency and low cost is very challenging when ML depends on real-world data that are highly distributed and rapidly growing (e.g., data collected by mobile phones and video cameras all over the world). Such real-world data pose many challenges in communication and computation. For example, when training data are distributed across data centers that span multiple continents, communication among data centers can easily overwhelm the limited wide-area network bandwidth, leading to prohibitively high latency and high cost. In this dissertation, we demonstrate that the latency and cost of ML on highly-distributed and rapidly-growing data can be improved by one to two orders of magnitude by designing ML systems that exploit the characteristics of ML algorithms, ML model structures, and ML training/serving data. We support this thesis statement with three contributions. First, we design a system that provides both low-latency and low-cost ML serving (inferencing) over large-scale and continuously-growing datasets, such as videos. Second, we build a system that makes ML training over geo-distributed datasets as fast as training within a single data center. Third, we present a first detailed study and a system-level solution on a fundamental and largely overlooked problem: ML training over non-IID (i.e., not independent and identically distributed) data partitions (e.g., facial images collected by cameras varies according to the demographics of each camera's location).

研究の動機と目的

• グローバルに分散し、急速に拡大するデータに対してトレーニングおよびサービングを実行する際の高いレイテンシとコストという重要な課題に対処する。
• 地理的に分散したデータセンター間の通信オーバーヘッドを最小限に抑えるシステムを設計し、トレーニング速度を向上させ、運用コストを削減する。
• 分散トレーニング環境における非IIDデータパーティションが引き起こす性能劣化を克服する。
• 継続的に成長を続けるデータセット（例：動画ストリーム）に対して、低レイテンシ・低コストのインフェレンスを可能にする。
• MLアルゴリズム、モデル構造、データ分布の固有の特性に整合するシステムレベルのソリューションを開発する。

提案手法

• 大規模動画データセットのアクセスパターンに適合したデータパーティショニングおよびキャッシュ戦略を用いたサービングシステムを設計し、レイテンシと帯域幅使用量を最小限に抑える。
• モデル更新の圧縮と非同期同期を活用することで、データセンター間のトラフィックを削減する通信最適化トレーニングフレームワークを実装する。
• 地理的に分散したノード間でのデータスケューと分布シフトに動的に適応する画期的なパラメータサーバー・アーキテクチャを導入する。
• デバイス間のデータ分布の統計的モデリングを活用し、非IID環境下でのデータシャーディングとモデル更新の集約を最適化する。
• 階層的集約と局所性を考慮したスケジューリングを用いて、地理的分散型トレーニングにおける広域ネットワーク通信を削減する。
• 確率的最適化とモデル構造解析からのアルゴリズム的インサイトを活用し、余分な計算と通信を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 動画ストリームのような継続的に成長するグローバル分散型データセットに対して、MLサービングを低レイテンシかつ低コストで実現する方法は何か？
• RQ2 複数大陸にまたがるデータセンターにおける分散トレーニングを、単一データセンターでのトレーニングと同等の速度にまで高めるシステム最適化は何か？
• RQ3 分散MLトレーニングにおいて非IIDデータパーティションが引き起こす性能劣化をどのように軽減できるか？
• RQ4 データ分布の特性が、分散MLにおける効率的な通信および計算戦略の設計に果たす役割は何か？
• RQ5 MLモデルのアルゴリズム的・構造的特性を活用するシステム設計は、通信オーバーヘッドを顕著に削減できるか？

主な発見

• 提示されたサービングシステムは、大規模動画インフェレンスにおいて、ベースラインシステムと比較して1〜2桁のレイテンシとコスト低減を達成した。
• 地理的分散型データセットにおけるトレーニング時間は、広域ネットワーク制約があるにもかかわらず、単一データセンターでのトレーニングと同等の水準まで短縮された。
• 非IIDデータパーティション向けのシステムは、デバイス間でのデータ分布スケューに適応することで、モデルの収束性と精度を顕著に向上させた。
• 最適化されたデータシャーディングと更新圧縮技術により、分散トレーニングにおける通信オーバーヘッドが最大90％削減された。
• アルゴリズム的インサイトをシステム設計に統合した結果、トレーニング速度とインフェレンス効率の両面で測定可能な改善が得られた。
• 実証的評価により、MLモデルおよびデータ特性に整合したシステム最適化が、実世界の展開環境において顕著なパフォーマンス向上をもたらすことが確認された。