[論文レビュー] Distributed Dynamic Map Fusion via Federated Learning for Intelligent Networked Vehicles

Zijian Zhang, Shuai Wang+3 more|arXiv (Cornell University)|Mar 5, 2021

Indoor and Outdoor Localization Technologies参考文献 30被引用数 69

ひとこと要約

本稿では、欠損ラベルを伴う分散型オンライン学習を可能にする、知能ネットワーキングビークル向けのフェデレーテッドラーニング（FL）ベースのダイナミックマップ融合フレームワークを提案する。三段階融合方式（DBSCANクラスタリング、スコアベース重み付け、IoUプリーニング）、分散特徴モデルのファインチューニングのためのFL、およびラベル生成のための知識蒸留を組み合わせることで、通信負荷を低く抑えながら高いマップ品質を達成し、真のラベルが存在しない状況でも、シミュレーションにおいて既存手法を上回る性能を発揮する。

ABSTRACT

The technology of dynamic map fusion among networked vehicles has been developed to enlarge sensing ranges and improve sensing accuracies for individual vehicles. This paper proposes a federated learning (FL) based dynamic map fusion framework to achieve high map quality despite unknown numbers of objects in fields of view (FoVs), various sensing and model uncertainties, and missing data labels for online learning. The novelty of this work is threefold: (1) developing a three-stage fusion scheme to predict the number of objects effectively and to fuse multiple local maps with fidelity scores; (2) developing an FL algorithm which fine-tunes feature models (i.e., representation learning networks for feature extraction) distributively by aggregating model parameters; (3) developing a knowledge distillation method to generate FL training labels when data labels are unavailable. The proposed framework is implemented in the Car Learning to Act (CARLA) simulation platform. Extensive experimental results are provided to verify the superior performance and robustness of the developed map fusion and FL schemes.

研究の動機と目的

• 知能ネットワーキングビークルのダイナミックマップ統合におけるセンシングおよびモデルの不確実性に対処すること。
• リアルタイムデータのラベルが欠落している状況でも、オンラインで分散型学習を可能にすること。
• 効率的な統合とモデル集約により、通信負荷を低減しながら高いマップ品質を維持すること。
• LiDARデータとエッジベースの連携を用いた、スケーラブルで頑健なリアルタイムダイナミックマップ統合フレームワークの開発。

提案手法

• 三段階統合パイプライン：(1) 物体検出の空間的クラスタリングのためのDBSCAN、(2) 重複する物体のスコアベース加重平均、(3) IoUベースのボックスプリーニングによる矛盾解消。
• 車両間で共有された特徴抽出ネットワークのファインチューニングを可能にする、ポイントクラウドベースのフェデレーテッドラーニングアルゴリズム。この手法では、生データを共有せずにモデルパラメータを集約する。
• エッジサーバーの統合マップを教師モデルとして用い、局所的学習データのための仮ラベルを生成する知識蒸留法。
• FLと知識蒸留を統合したアンサンブル蒸留フェデレーテッドラーニング（EDFL）フレームワークを構築し、ラベル不足下でもモデルの頑健性を向上させる。
• LiDARポイントクラウドとKITTI基準へのカスタムデータ変換を用いた、CARLAシミュレーションプラットフォーム上での実装と評価。

実験結果

リサーチクエスチョン

• RQ1 三段階統合方式は、動的環境下で物体の数を的確に推定し、マップの忠実度を向上させることができるか？
• RQ2 物体数が不明な状況下でも、フェデレーテッドラーニングをLiDARベースの特徴モデルに効果的に適用できるか？
• RQ3 本物のラベルが欠落している状況でも、知識蒸留が信頼性の高いトレーニングラベルを生成できるか？
• RQ4 提案されたEDFLフレームワークは、ラベルなし状況でも完全に教師ありFLベースラインに近い性能を達成できるか？

主な発見

• 提案された三段階統合手法は、比較対象のすべての手法の中で、IoU=0.7における平均精度が最高を記録し、マックススコア法や平均化法を上回った。
• EDFLベースの統合手法は、完全なFLベースラインに非常に近い性能を達成しており、特に長距離（LR）および高オクルージョン（LO）シナリオで顕著であった。
• 真のラベルが存在しない状況下でも、EDFLフレームワークはFLや統合を用いない手法と比較して、顕著に検出精度を向上させた。
• フレームワークは生データの転送を回避することで通信負荷を低減し、代わりにモデルパラメータの集約と蒸留ラベルに依存した。
• エッジサーバーの統合マップは効果的な教師モデルとして機能し、局所的学習のための正確な仮ラベル生成を可能にした。