[論文レビュー] Real-time End-to-End Federated Learning: An Automotive Case Study

Hongyi Zhang, Jan Bosch+1 more|arXiv (Cornell University)|Mar 22, 2021

Privacy-Preserving Technologies in Data参考文献 28被引用数 7

ひとこと要約

本稿では、スライディングウィンドウおよびバージョンベースの集約を用いて、非同期的でリアルタイムなエンドツーエンド分散学習フレームワークを提案する。このフレームワークは、異種のエッジデバイス上で効率的かつプライバシーを守ったモデル学習を可能にする。中央集権的学習と比較して、学習時間を70%短縮し、帯域幅を60%削減するが、予測精度は同期型フェデレーテッドラーニングおよび中央集権的手法と同等またはそれを上回る。

ABSTRACT

With the development and the increasing interests in ML/DL fields, companies are eager to apply Machine Learning/Deep Learning approaches to increase service quality and customer experience. Federated Learning was implemented as an effective model training method for distributing and accelerating time-consuming model training while protecting user data privacy. However, common Federated Learning approaches, on the other hand, use a synchronous protocol to conduct model aggregation, which is inflexible and unable to adapt to rapidly changing environments and heterogeneous hardware settings in real-world scenarios. In this paper, we present an approach to real-time end-to-end Federated Learning combined with a novel asynchronous model aggregation protocol. Our method is validated in an industrial use case in the automotive domain, focusing on steering wheel angle prediction for autonomous driving. Our findings show that asynchronous Federated Learning can significantly improve the prediction performance of local edge models while maintaining the same level of accuracy as centralized machine learning. Furthermore, by using a sliding training window, the approach can minimize communication overhead, accelerate model training speed and consume real-time streaming data, proving high efficiency when deploying ML/DL components to heterogeneous real-world embedded systems.

研究の動機と目的

• リアルタイムで変動するデバイス能力やネットワーク状態を有する、実世界の非均質なエッジ環境において、同期型フェデレーテッドラーニングの柔軟性の欠如を是正すること。
• 中央集権的な生データの集約を避け、ストリーミングデータからのエッジデバイス上で機械学習モデルをリアルタイムでエンドツーエンドに訓練可能にし、プライバシーを保護すること。
• デバイスの非均質性や動的なワークロードに適応できる非同期プロトコルに、同期型集約を置き換えることで、学習の効率性とスケーラビリティを向上させること。
• ステアリングホイール角度予測という実世界の自動車用途において、中央集権的学習と同等の性能を示し、同期型FLを上回ることを実証すること。
• ストリーミングデータ処理のためのスライディングウィンドウ機構を採用することで、分散エッジ学習における通信オーバーヘッドと学習時間を削減すること。

提案手法

• 本手法は、バージョンベースの非同期モデル集約プロトコルを採用し、サーバーが全デバイスの更新を待たずに、到着した順に更新を受け入れることを可能にする。
• リアルタイムストリーミングデータ処理のため、スライディングウィンドウ機構を用いることで、ストレージ要件を最小限に抑え、継続的なモデル学習を実現する。
• 時間的・空間的特徴を活用するため、3D-CNNを二重ストリームで構成し、ビデア入力から直接ステアリングホイール角度をエンドツーエンドに予測するモデルを訓練する。
• ハイブリッドトレーニング環境を採用：GPU（V100およびT4）を搭載したエッジ車両がローカルに学習を実行し、サーバーはバージョン付き更新に基づき非同期にモデルを集約する。
• 更新頻度を制御し、通信オーバーヘッドを低減するために、下限周波数閾値（a_l）および上限周波数閾値（a_u）による制限を導入する。
• モデル更新は圧縮された重みベクトルとして送信され、フルモデル転送と比較して帯域幅コストを削減する。

Figure 1: A typical Federated Learning System is depicted in the diagram. The light blue components are related to the model, while the red components are related to the data.

実験結果

リサーチクエスチョン

• RQ1 リアルタイムストリーミングデータを用いた非同期フェデレーテッドラーニングは、自律走行車両において、中央集権的学習と同等またはそれ以上の予測精度を達成できるか？
• RQ2 提案された非同期集約プロトコルは、同期型フェデレーテッドラーニングおよび中央集権的学習と比較して、学習速度および通信効率においてどの程度の性能を示すか？
• RQ3 スライディングウィンドウ機構は、エッジベースのモデル学習において、ストレージおよび通信オーバーヘッドをどの程度低減できるか？
• RQ4 実世界の自動車デプロイメントにおいて、デバイスの非均質性および変動するネットワーク状態をどのように処理するか？
• RQ5 バージョンベースの集約プロトコルは、分散的かつリアルタイムな環境下で、収束速度およびモデルパフォーマンスにどのような影響を与えるか？

主な発見

• 非同期フェデレーテッドラーニングにより、中央集権的学習と比較して合計学習時間を約70%短縮し、ベースラインモデルと比較して収束を70%速く達成した。
• 中央集権的学習と比較して、帯域幅消費量を約60%削減し、4台の車両間で合計0.78 GBのデータ転送で済んだ。
• 非同期アプローチは、同期型フェデレーテッドラーニングと比較して、回帰誤差が0.2～0.4低く、より優れた予測性能を示した。
• モデルの精度は中央集権的学習および同期型フェデレーテッドラーニングと同等またはそれを上回り、分散学習にもかかわらずパフォーマンスの同等性を実証した。
• スライディングウィンドウ機構により、個々のエッジデバイスに大規模なデータストレージを必要とせずに、リアルタイムストリーミングデータの効率的処理が可能になった。
• 学習効率および収束速度の観点で、同期型フェデレーテッドラーニングおよびローカル独立学習を上回る性能を示した。

(a) Vehicle 1: Highway & City