[論文レビュー] Federated Transfer Reinforcement Learning for Autonomous Driving

Xinle Liang, Yang Liu+3 more|arXiv (Cornell University)|Oct 14, 2019

Autonomous Vehicle Technology and Safety被引用数 38

ひとこと要約

この論文は、オンラインの連合型強化学習移転フレームワーク（FTRL）を提案し、シミュレータと実世界環境における異種エージェント間でリアルタイムの知識共有を自動運転のために実現します。AirSimとJetsonTX2 RCカーを用いた検証で衝突回避性能の改善を示します。

ABSTRACT

Reinforcement learning (RL) is widely used in autonomous driving tasks and training RL models typically involves in a multi-step process: pre-training RL models on simulators, uploading the pre-trained model to real-life robots, and fine-tuning the weight parameters on robot vehicles. This sequential process is extremely time-consuming and more importantly, knowledge from the fine-tuned model stays local and can not be re-used or leveraged collaboratively. To tackle this problem, we present an online federated RL transfer process for real-time knowledge extraction where all the participant agents make corresponding actions with the knowledge learned by others, even when they are acting in very different environments. To validate the effectiveness of the proposed approach, we constructed a real-life collision avoidance system with Microsoft Airsim simulator and NVIDIA JetsonTX2 car agents, which cooperatively learn from scratch to avoid collisions in indoor environment with obstacle objects. We demonstrate that with the proposed framework, the simulator car agents can transfer knowledge to the RC cars in real-time, with 27% increase in the average distance with obstacles and 42% decrease in the collision counts.

研究の動機と目的

• 自動運転強化学習ワークフローにおける offline モデル転送の時間を要する課題を解決し、ローカルな知識のサイロを克服する。
• 非同期更新と環境を跨ぐ知識共有を支援するオンライン連合型 RL 移転フレームワーク（FTRL）を提案する。
• FTRL を実車の JetsonTX2 RC カーと Microsoft AirSim シミュレータでの衝突回避タスクに適用して検証する。
• オンライン移転と連合化が、非連合のローカルトレーニングと比較して学習速度と評価指標を改善することを示す。

提案手法

• 連合学習（FedAvg）と転移学習を組み合わせ、異なる環境におけるエージェント間での非同期 RL 更新を可能にする。
• DDPG を基盤とした RL 手法を用い、環境間で観測と行動を整合させるオンライン転送機構を導入する（s_t = beta_i s_t^i; a_t^i = a_t * |Max a^i|）。
• Federation model w_fed^θ はローカルモデルの平均として更新される（w_fed^θ = (1/N) Σ_i w_i^θ）。
• 次状態 r_t(s_{t+1}) に条件付けられた報酬関数を定義・適用する（安全距離と障害物ペナルティの特定項目を含む（Eq. 2））。
• ローカル更新間隔 t_u と連合間隔 t_f を用いた非同期トレーニングを実装する。サーバはモデルを集約し連合モデルを配布する。
• DDPG ネットワークアーキテクチャ（アクターとクリティックは 128 単位の 3 層の全結合）と標準的な RL 設定（γ=0.99、τ=0.02、lr=1e-4、リプレイバッファ=2500、バッチ=32）を説明する。
• ヘテロジニアスなセンサー（LIDAR）と非同一環境に対する転送機構を、観測と行動のスケーリング（β_i、Max action 正規化）を介して詳述する。

実験結果

リサーチクエスチョン

• RQ1 オンライン転送と連合化は、同一ではない RL タスク/環境（シミュレータ vs 実ロボット）間で知識共有を可能にするか？
• RQ2 FTRL は、非連合の単一の RL トレーニング実行と比べて学習速度と評価性能を改善するか？
• RQ3 オンラインのシミュレータ-to-リアル知識転送は自動運転の衝突回避タスクに対して実現可能で有益か？

主な発見

• FTRL および FTRL-SIM は、検証シナリオでベースラインの DDPG より相対的に高い性能を示す。
• DDPG と比較して、FTRL は 3 台の RC カー（car1、car2、car3）で平均距離の改善と衝突数の減少を達成。
• FTRL-DDPG-SIM は、AirSim シミュレータから実車へ知識を転移させることでさらに性能を向上させ、相対的なゲインを大きく得る。
• 表 I は車ごとの結果を示す： DDPG (car1: avg_dist 0.39, coll_no 18; car2: 0.29, 31; car3: 0.38, 24); FTRL-DDPG (car1: 0.42, 9; car2: 0.37, 27; car3: 0.51, 17); FTRL-DDPG-SIM (car1: 0.45, 12; car2: 0.39, 16; car3: 0.50, 13)。
• 全体の改善として報告されたのは、FTRL-DDPG で平均距離が障害物ありで平均 20.3% 増加、衝突が 30.7% 減少；FTRL-DDPG-SIM ではテストレース全体で平均距離 27.2%、衝突 42.5% の改善。