[論文レビュー] Personalized Federated Learning of Driver Prediction Models for Autonomous Driving

Manabu Nakanoya, Junha Im+4 more|arXiv (Cornell University)|Dec 1, 2021

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、異種なドライバー行動からグローバルなダイナミクスとパーソナライズされたコスト関数を共同で学習することで、自律走行車両における軌道予測を向上させる、新しいフレームワークである適応的パーソナライズドフェデレーテッドラーニング（APFL）を提案する。CARLAおよびCARLOシミュレータを用いた実世界のユーザースタディにおいて、APFLは標準的なフェデレーテッドラーニングと比較して予測誤差を2倍低減し、車線変更シナリオにおける安全性と効率性を顕著に向上させつつ、データプライバシーを保持した。

ABSTRACT

Autonomous vehicles (AVs) must interact with a diverse set of human drivers in heterogeneous geographic areas. Ideally, fleets of AVs should share trajectory data to continually re-train and improve trajectory forecasting models from collective experience using cloud-based distributed learning. At the same time, these robots should ideally avoid uploading raw driver interaction data in order to protect proprietary policies (when sharing insights with other companies) or protect driver privacy from insurance companies. Federated learning (FL) is a popular mechanism to learn models in cloud servers from diverse users without divulging private local data. However, FL is often not robust -- it learns sub-optimal models when user data comes from highly heterogeneous distributions, which is a key hallmark of human-robot interactions. In this paper, we present a novel variant of personalized FL to specialize robust robot learning models to diverse user distributions. Our algorithm outperforms standard FL benchmarks by up to 2x in real user studies that we conducted where human-operated vehicles must gracefully merge lanes with simulated AVs in the standard CARLA and CARLO AV simulators.

研究の動機と目的

• 高齢化した人間ドライバー行動の多様性が著しい状況下で、自律走行車両の頑健な軌道予測モデルを訓練する課題に対処すること。
• 現実のロボットファミリーに共通するデータの非同一性の下で、標準的なフェデレーテッドラーニングが収束に失敗するという限界を克服すること。
• グローバルな知識（共有ダイナミクス）とローカルなパーソナライゼーション（個別コスト関数）を両方活用することで、モデル性能を向上させるパーソナライズドフェデレーテッドラーニングフレームワークを構築すること。
• CARLAのようなフォトリアリスティックシミュレータおよびCARLOのような軽量シミュレータを用いて、実人間-ロボットインタラクションシナリオにおけるパーソナライズドFLの有効性を評価すること。
• パーソナライズドFLが、車線合流などの複雑な運転操作において安全性と効率性を顕著に向上させつつ、ドライバーのプライバシーを保持できるかどうかを実証すること。

提案手法

• グローバルモデルパラメータ（例：共有ダイナミクス）とパーソナライズドローカルパラメータ（例：リスク許容度コスト関数）を分離する、適応的パーソナライズドフェデレーテッドラーニング（APFL）を提案する。
• 2段階のトレーニングプロセスを採用：まず、クライアントの更新を集約してグローバルモデルをトレーニングし、次に各クライントレーニングでグローバルモデルを、パーソナライズドヘッドレイヤーとグローバル・ローカルパラメータの適応的重み付けでファインチューニングする。
• ローカルデータ分布と収束行動に基づき、グローバルモデルとパーソナライズドモデルの影響を動的に調整するパラメータ重み付けメカニズムを導入する。
• 軌道予測にLSTMベースのエンコーダデコーダアーキテクチャを採用し、プライバシー制約下でフェデレーテッド最適化によりエンドツーエンドでトレーニングする。
• CARLAで多様な運転スタイル（リスク許容度γ ∈ {−1.0, −0.5, 0, 0.5, 1.0}）を有する合成ドライバー制御装置を適用し、訓練に適したリアルなデータ収集を可能にする。
• 相対的位置と速度に基づく目標速度意思決定から制御入力を計算するPID制御装置をCARLAに適用し、シミュレーション内でのリアルな車両行動を実現する。

実験結果

リサーチクエスチョン

• RQ1 高齢化した人間ドライバー行動の多様性に直面した自律走行車両の軌道予測性能を、パーソナライズドフェデレーテッドラーニングが効果的に向上させることができるか？
• RQ2 車線変更などの複雑な操作を伴う人間-ロボットインタラクションシナリオにおいて、標準的なフェデレーテッドラーニングとパーソナライズドバージョンの性能はどのように比較されるか？
• RQ3 グローバルダイナミクスとローカルコスト関数パーソナライゼーションを組み合わせたハイブリッド学習アプローチが、多様なドライバー集団におけるモデルの頑健性と一般化性能をどの程度向上させられるか？
• RQ4 提案されたAPFLアルゴリズムは、ベースラインのFL手法と比較して、車線変更タスクにおける安全性と効率性を維持しながら、予測誤差を低減することができるか？
• RQ5 高精細シミュレータ（例：CARLA）を用いた実ユーザースタディにおいて、本手法は生の軌道データを露出させることなく、顕著な性能向上を達成できるか？

主な発見

• APFLはテスト予測誤差を0.01160にまで低減し、標準的なフェデレーテッドラーニング（0.01760）と比較して2倍の改善効果を示し、最良のベースライン（SPFL：0.01600）と比較しても28%の改善を達成した。
• CARLAの車線変更シナリオにおいて、APFLは平均コストが著明に低く（p値 = 0.021346 vs. SPFL）なっており、安全な車両間隔を維持した。
• 実ドライバーを対象としたユーザースタディにより、APFL搭載の自律走行車両が、標準的なFLでトレーニングされたモデルと比較して、合流操作においてより安全かつ効率的であることが確認された。
• 結果から、標準的なFLはデータの非同一性の下で収束が不十分であるのに対し、適応的パラメータ重み付けを有するパーソナライズドFLは性能を顕著に向上させることを示した。
• APFLはグローバルな経験（共有ダイナミクス）とローカルなパーソナライゼーション（個別リスク許容度）を効果的に活用し、多様な運転スタイルにわたる優れた一般化性能を達成した。
• 本研究は、ロボティクス分野、特に自律走行車両の軌道予測を対象とした、パーソナライズドフェデレーテッドラーニングの実世界ユーザースタディの初の実施を示した。