[論文レビュー] An Efficient and Reliable Asynchronous Federated Learning Scheme for Smart Public Transportation

Chenhao Xu, Youyang Qu+4 more|arXiv (Cornell University)|Aug 15, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、スマートな公共交通機関向けに、学習性能、効率性、信頼性を向上させるブロックチェーンベースの非同期フェデレーテッドラーニング方式DBAFLを提案する。信頼性の高い低遅延な委員会ベースのコンセンサスアルゴリズムと、古くなった局所モデルの最適な重み付けを可能にする動的スケーリング要因を統合することで、DBAFLは収束を高速化し、ポイズニング攻撃およびDDoS攻撃に対して強く耐性を持つ。これは、異種環境下でも最先端の手法を上回る性能を発揮する。

ABSTRACT

Since the traffic conditions change over time, machine learning models that predict traffic flows must be updated continuously and efficiently in smart public transportation. Federated learning (FL) is a distributed machine learning scheme that allows buses to receive model updates without waiting for model training on the cloud. However, FL is vulnerable to poisoning or DDoS attacks since buses travel in public. Some work introduces blockchain to improve reliability, but the additional latency from the consensus process reduces the efficiency of FL. Asynchronous Federated Learning (AFL) is a scheme that reduces the latency of aggregation to improve efficiency, but the learning performance is unstable due to unreasonably weighted local models. To address the above challenges, this paper offers a blockchain-based asynchronous federated learning scheme with a dynamic scaling factor (DBAFL). Specifically, the novel committee-based consensus algorithm for blockchain improves reliability at the lowest possible cost of time. Meanwhile, the devised dynamic scaling factor allows AFL to assign reasonable weights to stale local models. Extensive experiments conducted on heterogeneous devices validate outperformed learning performance, efficiency, and reliability of DBAFL.

研究の動機と目的

• 動的でリソース制限のあるスマートな公共交通機関環境において、同期型フェデレーテッドラーニング（FL）の非効率性と信頼性の欠如を是正すること。
• ブロックチェーンの分散型信頼モデルを活用して、FLにおけるポイズニング攻撃やDDoS攻撃などのセキュリティリスクを軽減すること。
• 古くなった局所モデルに合理的な重みを割り当てることで、非同期FLにおける学習パフォーマンスを向上させ、収束の不安定性を回避すること。
• 分散型信頼メカニズムを採用しても高い学習効率を維持できるように、コンセンサスにおけるブロックチェーンのオーバーヘッドを最小限に抑えること。
• インターネット・オブ・ビークルズ（IoV）ネットワークにおける異種の車両およびレーンサイドユニット（RSU）間で、スケーラブルかつリアルタイムのモデル更新を可能にすること。

提案手法

• ランダムに選ばれた委員会リーダーが、自らのローカルデータセットを用いて局所モデルの更新を定期的に検証・検証する、新しい委員会ベースのコンセンサスアルゴリズムを導入する。
• 委員会リーダーを用いて低精度の局所モデルを検出し、重みを下げることで、完全なネットワークコンセンサスを必要とせずにポイズニング攻撃に対する耐性を高める。
• 任意の局所モデルが受信された段階ですぐにモデル更新をトリガーする非同期集約戦略を実装し、遅延するノードの待機を排除する。
• 局所モデルの正確性と陳腐化度に基づいて重みを割り当てる動的スケーリング要因を設計し、グローバルモデルの収束を改善する。
• 軽量な委員会運用を通じて通信および計算コストを最小限に抑えながら、モデル更新の透明性と改ざん不能性をブロックチェーンで保証する。
• ハッシュベースのランダム化メカニズムを用いて新たな委員会リーダーを選出することで、集約サーバーに対する標的型DDoS攻撃を防止する。

実験結果

リサーチクエスチョン

• RQ1 ブロックチェーンベースのコンセンサスメカニズムは、顕著な遅延を引き起こさずに、動的かつリアルタイムなIoV環境におけるフェデレーテッドラーニングをサポートできるほど効率的であると言えるか？
• RQ2 非同期FLにおける古くなった局所モデルは、どのように効果的に重み付けできるか？これにより学習の安定性が向上し、グローバルモデルの正確性が向上する。
• RQ3 移動性が高く分散型のIoV環境下で、委員会ベースのコンセンサスモデルは、ポイズニング攻撃およびDDoS攻撃に対してどの程度耐性を示せるか？
• RQ4 提案された動的スケーリング要因は、固定重みまたは古くなったモデルを破棄するアプローチと比較して、収束速度と最終的なモデル正確性をどの程度向上させるか？
• RQ5 公共交通機関向けのブロックチェーン統合フェデレーテッドラーニングにおいて、セキュリティ、効率性、スケーラビリティのトレードオフはどのようなものか？

主な発見

• DBAFLは、純粋な非同期ベースラインASOFEDと比較して、合計トレーニングラウンド時間にわずか0.97秒の追加時間で抑え、ブロックチェーンのオーバーヘッドが最小限であることを示した。
• 全評価手法の中で最短のトレーニングラウンド時間を達成し、無駄な待機時間が一切ない。これは、FedAVG や BSFL といった同期方式を上回る性能を発揮する。
• DBAFLは、ポイズニング攻撃下でも安定した収束を維持し、最終的に46–49％のテスト正確性に到達した。特に、正確性が80–90％未満のモデルを破棄することで、性能がさらに向上した。
• DDoS攻撃下では、90％の攻撃トラフィックでもDBAFLの収束時間はほとんど変化せず、一方で古典的なAFLは40秒から200秒にまで劣化した。
• 動的スケーリング要因は、古くなったモデルに適切な重みを割り当てることで、学習パフォーマンスの安定化を著しく実現し、収束の不安定性を防止した。
• ノード数が10から100に増加するに従い、DBAFLは同期方式や他のブロックチェーンベースのFL手法と比較して、優れたスケーラビリティを維持した。