[論文レビュー] Turn Signal Prediction: A Federated Learning Case Study

Sonal Doomra, Naman Kohli+1 more|arXiv (Cornell University)|Dec 22, 2020

Privacy-Preserving Technologies in Data参考文献 18被引用数 12

ひとこと要約

本稿では、車両のCANバスデータを用いて、プライバシーを保護しつつ帯域幅を削減するため、分散型の車両で学習するためのフェデレーテッドラーニング手法を提案する。長短記憶（LSTM）モデルを分散型車両で訓練することで、プライバシーを確保しつつ、中央集権的学習と同等の性能を達成する。フェデレーテッドモデルは中央集権的モデル（90.4%）と同等の精度（全体で91.1%）を達成しており、プライバシー保護型の車内学習が、地域特有の運転マナーをモデル化するために実現可能であることを示している。

ABSTRACT

Driving etiquette takes a different flavor for each locality as drivers not only comply with rules/laws but also abide by local unspoken convention. When to have the turn signal (indicator) on/off is one such etiquette which does not have a definitive right or wrong answer. Learning this behavior from the abundance of data generated from various sensor modalities integrated in the vehicle is a suitable candidate for deep learning. But what makes it a prime candidate for Federated Learning are privacy concerns and bandwidth limitations for any data aggregation. This paper presents a long short-term memory (LSTM) based Turn Signal Prediction (on or off) model using vehicle control area network (CAN) signal data. The model is trained using two approaches, one by centrally aggregating the data and the other in a federated manner. Centrally trained models and federated models are compared under similar hyperparameter settings. This research demonstrates the efficacy of federated learning, paving the way for in-vehicle learning of driving etiquette.

研究の動機と目的

• 車両のCAN信号を用いて、次の時刻におけるターンシグナルの状態（オン／オフ）を予測する機械学習モデルを開発すること。
• 車両内行動モデリングにおける中央集権的データ集約の代替手段として、フェデレーテッドラーニングのプライバシー保護的利点を評価すること。
• 同一のハイパーパrameterを用いた場合に、フェデレーテッドモデルと中央集権的モデルの性能を比較すること。
• フェデレーテッドラーニングが、生のドライバーデータを露呈させることなく、多様な地域特有の運転習慣を学習できるかを評価すること。
• データのプライバシーと帯域幅の制約に対処しながら、リアルタイムで車内での運転マナー学習を可能にすること。

提案手法

• 歴史的なCAN信号を用いて、ターンシグナル予測を多次元時系列分類タスクとして定式化する。
• ステアリング角度、速度、GPSなどの車両信号における時間的依存性をモデル化するため、LSTMベースの深層ニューラルネットワークを用いる。
• TensorFlow Federated（TFF）を用いて、生データを送信せず、モデル重みのみを共有する形で、分散型車両でモデルを訓練するフェデレーテッドラーニングを適用する。
• クライアントモデルの更新をサーバーで平均化することでグローバルモデルを形成する、グローバルモデル集約戦略を採用する。
• フォード社のBig Data Drive（BDD）データセットのサブセットを用いてモデルを訓練および評価し、オン・オフ・オンのターンシグナルシーケンスを示す走行データに焦点を当てる。
• 車両速度、ブレーキ状態、方向などの特徴量の正規化およびクラス不均衡の処理を実施するデータ前処理を実装する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングは、ドライバーのデータプライバシーを保護しつつ、ターンシグナル予測において中央集権的学習と同等の性能を達成できるか？
• RQ2 同じハイパーパrameterとデータを用いた場合、フェデレーテッドモデルの性能は中央集権的モデルと比べてどの程度か？
• RQ3 フェデレーテッドラーニングは、異なる地域における多様な運転行動やマナーのパターンを効果的に捉えることができるか？
• RQ4 ドライバーがターンシグナルを使用しない場合にも、集団行動から学習することで、フェデレーテッドモデルはどれほど一般化できるか？
• RQ5 通信およびデバイススケジューリングを含めた、実世界の車内システムへのフェデレーテッドラーニングの実装における実用的課題は何か？

主な発見

• フェデレーテッドモデルは全体で91.1%のテスト精度を達成し、中央集権的モデル（90.4%）をわずかに上回った。
• フェデレーテッドモデルは中央集権的モデル（0.807）よりも高いF1スコア（0.826）を示し、クラス予測のバランスが優れていることを示した。
• ドライバーが信号を出さない場合でも、変則的移動やカーブでのターンシグナルのアクティベートを正しく予測できたため、人為的ミスに対して高い耐性を示した。
• 可視化分析により、ドライバー行動に起因する不一致な真値であっても、多様な運転パターンにわたってフェデレーテッドモデルが良好に一般化していることが確認された。
• 欠落または誤った信号があっても、意図された操作を検出できる能力から、モデルが個々のエラーを模倣するのではなく、集団行動から学習していることが示唆された。
• フェデレーテッドラーニングにより、生データの転送なしにプライバシー保護型でスケーラブルな学習が可能となり、帯域幅とセキュリティ制約のある車内デプロイメントに適している。