[論文レビュー] Adaptive Task Allocation for Asynchronous Federated and Parallelized Mobile Edge Learning

Umair Mohammad, Sameh Sorour|arXiv (Cornell University)|May 5, 2019

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿は、非同期かつ並列化されたモバイルエッジ学習における、適応的で異種性に配慮したタスク割り当て方式を提案する。この方式は、局所的更新回数とデータバッチサイズを同時に最適化することで、勾配の陳腐化（staleness）を最小化することを目的としている。非凸な二次制約付きプログラムを緩和して定式化し、KKT条件と「提案・改善」アプローチを用いて解くことで、同期型および均等割り当て非同期型のベースラインと比較して、より低い陳腐化度と高いモデル精度を達成している。

ABSTRACT

This paper proposes a scheme to efficiently execute distributed learning tasks in an asynchronous manner while minimizing the gradient staleness on wireless edge nodes with heterogeneous computing and communication capacities. The approach considered in this paper ensures that all devices work for a certain duration that covers the time for data/model distribution, learning iterations, model collection and global aggregation. The resulting problem is an integer non-convex program with quadratic equality constraints as well as linear equality and inequality constraints. Because the problem is NP-hard, we relax the integer constraints in order to solve it efficiently with available solvers. Analytical bounds are derived using the KKT conditions and Lagrangian analysis in conjunction with the suggest-and-improve approach. Results show that our approach reduces the gradient staleness and can offer better accuracy than the synchronous scheme and the asynchronous scheme with equal task allocation.

研究の動機と目的

• エッジデバイス間の計算および通信能力の異種性に起因する、分散型モバイルエッジ学習における勾配の陳腐化の課題に対処すること。
• 各デバイスがグローバルな集約サイクルごとに、自身の能力に応じて異なる回数の局所的更新を実行する非同期学習フレームワークを設計すること。
• 陳腐化を最小化し、モデル精度を最大化するために、データバッチ割り当てと局所的更新回数を共同で最適化すること。
• 同期方式の非効率性を回避し、均等割り当て非同期方式の劣化性能を改善するスケーラブルで実用的なソリューションを開発すること。
• KKT条件とラグランジュ緩和を用いた「提案・改善」の反復的精錬を用いて、解析的境界と近似的最適解を提供すること。

提案手法

• 各デバイス $k$ について、データバッチサイズ $d_k$ と局所的更新回数 $\tau_k$ を同時に最適化するための整数二次制約付き線形計画問題（IQCLP）を定式化する。
• 整数制約を緩和することで、標準のソルバで解ける非凸な二次制約付きプログラム（QCLP）に変換し、NP困難な問題を緩和する。
• カールシュ＝クーン＝タッカー（KKT）最適性条件とラグランジュ解析を適用し、最適な $\tau_k^*$ と $d_k^*$ の解析的近似を導出する。
• 緩和された解の品質を向上させ、近似的最適値への収束を改善するための反復的精錬プロセス「提案・改善」（SAI）を導入する。
• 勾配の発散を制限するため、最大陳腐化度 $z$ を不等式ペア $-z + \tau_k - \tau_l \leq 0$ および $-z - \tau_k + \tau_l \leq 0$ を用いて制約する。
• 全デバイスペアにおける陳腐化制約をラグランジュ乗数 $\mu_n, \mu_n'$ を用いてモデル化し、インデックスマッピング $n_k$ および $N_k$ を用いて有効な制約を追跡する。

実験結果

リサーチクエスチョン

• RQ1 デバイスの異種性が存在する中で、非同期モバイルエッジ学習におけるタスク割り当てをどのように適応的に最適化すれば、勾配の陳腐化を最小化できるか？
• RQ2 時間的およびリソース的制約下で、各デバイスのデータバッチと局所的更新回数を最適に割り当てることで、モデル精度を最大化するにはどうすればよいか？
• RQ3 提案された適応的スキームは、同期型および均等割り当て非同期型ベースラインと比較して、陳腐化度と収束性の面でどのように異なるか？
• RQ4 KKT条件とラグランジュ緩和から導かれる解析的境界は、非凸最適化問題に対して近似的最適解を提供できるか？
• RQ5 異なるデバイス能力が非同期学習の性能に与える影響は何か？ その影響をどのようにモデル化し、最適化できるか？

主な発見

• 提案された適応的タスク割り当て方式は、同期型方式および均等割り当て非同期型方式と比較して、勾配の陳腐化をより効果的に低減している。
• 特にデバイスの能力に顕著な差が生じる異種環境下では、同期型ベースラインと比較して高い検証精度を達成している。
• 「提案・改善」（SAI）の精錬プロセスは、緩和された解の品質を顕著に向上させ、最適性能に近づける。
• KKT条件とラグランジュ解析から導かれた解析的解は、$\tau_k^*$ および $d_k^*$ の強固な理論的根拠と実用的な近似を提供している。
• 整数制約の緩和により、標準ソルバを用いた効率的かつ高精度な解法が可能になり、陳腐化度も低く保たれている。
• 実験的結果から、計算および通信能力が優れたデバイスにはより多くの更新とデータが割り当てられており、無駄な待機時間を削減し、システム全体の収束性が向上していることが確認された。