[論文レビュー] Network-Aware Optimization of Distributed Learning for Fog Computing

Su Wang, Yichen Ruan+4 more|arXiv (Cornell University)|Apr 17, 2020

Privacy-Preserving Technologies in Data参考文献 42被引用数 6

ひとこと要約

本稿では、コストを最小限に抑えつつモデルの精度を維持するため、異種デバイス間でのデータ処理オフロードを最適化する、ネットワークに配慮した分散学習フレームワークを提案する。計算、通信、破棄のコストをモデル化することで、動的ネットワーク環境下でも、動的にデバイス間でデータ処理タスクを割り当て、最大40％のネットワークコスト削減を達成し、フェデレーテッドラーニングと同等の精度を維持する。

ABSTRACT

Fog computing promises to enable machine learning tasks to scale to large amounts of data by distributing processing across connected devices. Two key challenges to achieving this goal are heterogeneity in devices compute resources and topology constraints on which devices can communicate with each other. We address these challenges by developing the first network-aware distributed learning optimization methodology where devices optimally share local data processing and send their learnt parameters to a server for aggregation at certain time intervals. Unlike traditional federated learning frameworks, our method enables devices to offload their data processing tasks to each other, with these decisions determined through a convex data transfer optimization problem that trades off costs associated with devices processing, offloading, and discarding data points. We analytically characterize the optimal data transfer solution for different fog network topologies, showing for example that the value of offloading is approximately linear in the range of computing costs in the network. Our subsequent experiments on testbed datasets we collect confirm that our algorithms are able to improve network resource utilization substantially without sacrificing the accuracy of the learned model. In these experiments, we also study the effect of network dynamics, quantifying the impact of nodes entering or exiting the network on model learning and resource costs.

研究の動機と目的

• スケーラブルな機械学習を実現するため、フェーズコンピューティング環境におけるデバイスの非均質性と通信制約の課題に対処する。
• 分散学習における計算、通信、データ破棄のコストをバランスさせるように、データ処理オフロード意思決定を最適化する。
• デバイスが協働してモデルを訓練しつつ、リソース使用量を最小限に抑え、モデルの精度を保持できる手法を開発する。
• ノードのチェンジや移動性といったネットワークダイナミクスが、モデル学習のパフォーマンスとコスト効率に与える影響を分析する。
• 実世界のデータトレースを用いて、従来のフェデレーテッドラーニングに比べてコスト効率に優れ、モデル精度を損なわないネットワークに配慮した最適化が有効であることを示す。

提案手法

• フェージデバイス全体で、データ処理、オフロード、破棄の意思決定を同時に最適化するコスト最小化問題を定式化する。
• 局所処理、デバイス間オフロード、データ破棄のトレードオフを、計算、通信、破棄ペナルティを組み込んだ重み付きコスト関数でモデル化する。
• オフロード下でのモデル誤差に対する解析的バウンディングを導出することで、特定のコスト仮定のもとで、性能劣化が制御可能で予測可能であることを示す。
• ネットワークトポロジーやリソース利用状況に基づいて、デバイスがローカルにオフロード意思決定を下せる分散最適化アルゴリズムを実装する。
• ワイヤレステストベッドから得た実世界のデータトレースを用いて、動的ノード接続性や変動するデータ分布を含む現実的な条件でフレームワークを評価する。
• ノードの参加および退出確率の確率的モデルを導入し、ノードチェンジ下での耐障害性を評価する。

実験結果

リサーチクエスチョン

• RQ1 異種フェージデバイス間で、合計システムコストを最小限に抑えつつモデル精度を維持するため、データ処理をどのように最適にオフロードできるか？
• RQ2 ノードチェンジや移動性といったネットワークダイナミクスが、フェージ環境における分散学習のパフォーマンスとコストに与える影響は何か？
• RQ3 データがデバイスに均等に分散されている（i.i.d.）か、非均等に分散されている（non-i.i.d.）かの違いが、オフロードベースの学習におけるモデル精度に与える影響は何か？
• RQ4 動的フェージネットワークにおいて、ネットワークに配慮したオフロードは、従来のフェデレーテッドラーニングに比べてリソース使用量をどの程度削減できるか？
• RQ5 コスト制約下での分散学習においてオフロードを用いる場合、モデル誤差に導ける解析的バウンディングは何か？

主な発見

• ネットワークに配慮したオフロードフレームワークは、ベースライン手法に比べて合計トレーニングコストを最大40％削減する。特にノードチェンジが高い状況で顕著である。
• ノード退出確率が5％に達すると、1時間あたりのアクティブノード平均数が6未満に低下し、初期状態と比較して40％の減少を示す。
• ノード退出確率が5％に上昇するにつれて、平均データ移動レートは0.55から0.2に低下し、チェンジ下でもデバイス間通信が減少していることが示される。
• ノード退出確率が5％に達すると、テスト精度が約4％低下する。特に非i.i.i.d.データ環境では、データ分布の偏りが顕著に影響し、精度に強い悪影響を及ぼす。
• ノード参加確率が5％まで上昇すると、特にi.i.i.d.データ環境下でオフロードの機会が向上し、モデル精度とコスト効率が向上する。
• 非i.i.i.d.ケースでは、ノードの退出が実データ分布を歪め、モデルの汎化性能を低下させるため、i.i.i.d.ケースと比較して持続的な精度ギャップが生じる。