[論文レビュー] Semi-asynchronous Hierarchical Federated Learning for Cooperative Intelligent Transportation Systems

Qimei Chen, Zehua You+1 more|arXiv (Cornell University)|Oct 18, 2021

Brain Tumor Detection and Classification被引用数 8

ひとこと要約

本稿は、協働型インтелリジェント輸送システム（C-ITS）向けに、同期的エッジ集約と準非同期的クラウド集約を組み合わせることで、効率的でプライバシー保護されたモデル学習を可能にする、準非同期階層型フェデレーテッドラーニング（SHFL）フレームワークを提案する。分散ADMM-BCUアルゴリズムを用いてエッジノードの関連付けとリソース割り当てを共同最適化することで、非i.i.d.データおよび異種デバイスの制約下でも、完全選択方式と比較して30％の学習遅延削減とほぼ最適なモデル精度を達成する。

ABSTRACT

Cooperative Intelligent Transport System (C-ITS) is a promising network to provide safety, efficiency, sustainability, and comfortable services for automated vehicles and road infrastructures by taking advantages from participants. However, the components of C-ITS usually generate large amounts of data, which makes it difficult to explore data science. Currently, federated learning has been proposed as an appealing approach to allow users to cooperatively reap the benefits from trained participants. Therefore, in this paper, we propose a novel Semi-asynchronous Hierarchical Federated Learning (SHFL) framework for C-ITS that enables elastic edge to cloud model aggregation from data sensing. We further formulate a joint edge node association and resource allocation problem under the proposed SHFL framework to prevent personalities of heterogeneous road vehicles and achieve communication-efficiency. To deal with our proposed Mixed integer nonlinear programming (MINLP) problem, we introduce a distributed Alternating Direction Method of Multipliers (ADMM)-Block Coordinate Update (BCU) algorithm. With this algorithm, a tradeoff between training accuracy and transmission latency has been derived. Numerical results demonstrate the advantages of the proposed algorithm in terms of training overhead and model performance.

研究の動機と目的

• C-ITSのデータ分析における高い伝送遅延、データの非均質性、限られた無線リソースの課題に対処すること。
• 時間に敏感で異種な車両ネットワークにおいて、完全に同期的または非同期的なフェデレーテッドラーニングの非効率性を克服すること。
• 通信効率が高く、プライバシーを保護する学習フレームワークを設計し、C-ITSにおけるリアルタイムの安全・効率サービスを支援すること。
• モデル精度と伝送遅延のバランスを取るために、エッジノードの関連付けとリソース割り当てを共同最適化すること。
• 複雑なMINLP問題を解くことのできる分散アルゴリズムを開発すること。

提案手法

• エッジサーバーとクラウドサーバーを含む三段階のSHFLアーキテクチャを提案。エッジノードは同期集約を、クラウドは準非同期集約を実行する。
• 非i.i.d.データによる性能低下を軽減するため、異種エッジノードの独自性（パーソナリティ）を保持するエラスティックエッジ更新モデルを導入。
• 学習精度と伝送遅延を最適化するために、エッジノード関連付けとリソース割り当てを混合整数非線形プログラミング（MINLP）問題としてモデル化。
• スケーラブルかつ分散型の方法でMINLP問題を解くために、分散ADMM-ブロック座標更新（ADMM-BCU）アルゴリズムを開発。
• データの重要性と伝送遅延のバランスを取るために、パラメータρを用いた重み付き目的関数を採用。調整可能なトレードオフを可能にする。
• ベースモデルにVGG-16を採用し、さまざまな選択方式（ランダム、完全選択、提案方式）における収束性と性能を評価。

実験結果

リサーチクエスチョン

• RQ1 準非同期集約は、異種的かつ非i.i.d.データを有するC-ITSにおいて、学習効率をどのように向上させるか？
• RQ2 C-ITSの階層的フェデレーテッドラーニング環境において、モデル精度と伝送遅延の最適なトレードオフは何か？
• RQ3 エッジノードの関連付けとリソース割り当てを共同で最適化することは、システム全体の学習パフォーマンスにどのように影響するか？
• RQ4 分散ADMM-BCUアルゴリズムは、リアルタイムの車両環境において、複雑なMINLP問題を効果的に解けるか？
• RQ5 エラスティックエッジ更新モデルは、エッジノードのパーソナリティをどの程度保持し、収束性を改善するか？

主な発見

• 提案されたSHFLフレームワークは、約70回の通信ラウンドで収束を示し、完全選択方式と同等の性能を示しながらも、より少ないエッジノードを用いている。
• 提案アルゴリズムは、ベースライン方式と比較して30％の学習遅延削減を達成し、評価されたすべてのメカニズムの中で最も低い遅延を記録した。
• エラスティックエッジ更新モデルは、特に非i.i.d.データ条件下で、通常の更新モデルと比較して、学習精度を著しく向上させるとともに、損失のフラクチュエーションを低減した。
• ADMM-BCUアルゴリズムは高速に収束し、計算複雑度も低く抑えられており、動的なC-ITS環境におけるリアルタイム導入に適している。
• データの重要性と伝送遅延のトレードオフが実証的に検証され、ρ = 0.8が精度と遅延の両面で最適なパフォーマンスを示した。
• 重み係数ρが高くなるほど選択エッジノード数が増加し、提案方式はランダム選択に比べてデータの重要性を高めつつ、遅延を最小限に抑えた。