[논문 리뷰] Federated Transfer Reinforcement Learning for Autonomous Driving

Xinle Liang, Yang Liu외 3명|arXiv (Cornell University)|2019. 10. 14.

Autonomous Vehicle Technology and Safety인용 수 38

한 줄 요약

이 논문은 시뮬레이터와 실제 환경 간의 이종 에이전트 간 실시간 지식 공유를 가능하게 하는 온라인 연합 강화학습 전이 프레임워크(FTRL)를 제시하며, AirSim 및 JetsonTX2 RC 자동차로 검증되어 충돌 회피 성능이 향상됨을 보여준다.

ABSTRACT

Reinforcement learning (RL) is widely used in autonomous driving tasks and training RL models typically involves in a multi-step process: pre-training RL models on simulators, uploading the pre-trained model to real-life robots, and fine-tuning the weight parameters on robot vehicles. This sequential process is extremely time-consuming and more importantly, knowledge from the fine-tuned model stays local and can not be re-used or leveraged collaboratively. To tackle this problem, we present an online federated RL transfer process for real-time knowledge extraction where all the participant agents make corresponding actions with the knowledge learned by others, even when they are acting in very different environments. To validate the effectiveness of the proposed approach, we constructed a real-life collision avoidance system with Microsoft Airsim simulator and NVIDIA JetsonTX2 car agents, which cooperatively learn from scratch to avoid collisions in indoor environment with obstacle objects. We demonstrate that with the proposed framework, the simulator car agents can transfer knowledge to the RC cars in real-time, with 27% increase in the average distance with obstacles and 42% decrease in the collision counts.

연구 동기 및 목표

• 자율주행 RL 워크플로에서의 오프라인 모델 전이 소요 시간을 줄이고 지역 지식 사일로를 극복한다.
• 비동기 업데이트와 환경 간 지식 공유를 지원하는 온라인 연합 RL 전이 프레임워크(FTRL)를 제안한다.
• 충돌 회피 작업에 대해 실제 JetsonTX2 RC 자동차와 Microsoft AirSim 시뮬레이터에서 FTRL을 검증한다.
• 온라인 전이와 연합이 비연합 로컬 학습에 비해 학습 속도와 평가 지표를 개선함을 입증한다.

제안 방법

• 연합 학습(FedAvg)과 전이 학습을 결합하여 서로 다른 환경에 있는 에이전트 간의 비동기 RL 업데이트를 가능하게 한다.
• 환경 간 관찰 및 행동 정렬을 위한 온라인 전이 메커니즘을 포함하는 기본 RL 방법으로 Deep Deterministic Policy Gradient (DDPG)를 사용한다( s_t = beta_i s_t^i; a_t^i = a_t * |Max a^i| ).
• 연합 모델 w_fed^θ은 로컬 모델의 평균으로 업데이트된다( w_fed^θ = (1/N) Σ_i w_i^θ ).
• 다음 상태 r_t(s_{t+1})에 조건화된 보상 함수를 정의하고 안전 거리와 장애물 페널티에 대한 특정 항을 포함한다(Eq. 2).
• 비동기 학습을 로컬 업데이트 간격 t_u와 연합 간격 t_f로 구현하고, 서버가 모델을 집계하고 연합 모델을 배포한다.
• DDPG 네트워크 아키텍처(액터와 크리틱은 128 유닛의 3개 Fully-Connected 레이어) 및 표준 RL 설정(γ=0.99, τ=0.02, lr=1e-4, 재생 버퍼=2500, 배치=32)을 기술한다.
• 이종 센서(LIDAR)와 비동일한 환경에 대한 관찰 및 행동 스케일링(β_i, Max action 정규화)을 통한 전이 메커니즘을 상세히 설명한다.

실험 결과

연구 질문

• RQ1 온라인 전이와 연합이 비동일 RL 과제/환경(시뮬레이터 대 실제 로봇) 간 지식 공유를 가능하게 할 수 있는가?
• RQ2 FTRL이 비연합 단일 RL 학습 실행에 비해 학습 속도와 평가 성능을 향상시키는가?
• RQ3 온라인 시뮬레이터-실제 지식 전이가 자율주행 충돌 회피 작업에 실현 가능하고 이익이 되는가?

주요 결과

• FTRL 및 FTRL-SIM은 테스트 시나리오에서 기준 DDPG보다 상대 성능이 더 높다.
• DDPG와 비교할 때 FTRL은 세 RC 자동차(car1, car2, car3)에서 평균 거리 증가 및 충돌 감소를 달성한다.
• FTRL-DDPG-SIM은 AirSim 시뮬레이터에서 실제 자동차로 지식을 전이해 더 큰 상대 이득을 얻으며 성능을 추가로 향상시킨다.
• Table I은 자동차별 결과를 보여준다: DDPG (car1: avg_dist 0.39, coll_no 18; car2: 0.29, 31; car3: 0.38, 24); FTRL-DDPG (car1: 0.42 (7.7%), 9; car2: 0.37 (27.6%), 27; car3: 0.51 (34.2%), 17); FTRL-DDPG-SIM (car1: 0.45 (15.4%), 12; car2: 0.39 (34.5%), 16; car3: 0.50 (31.6%), 13).
• 전반적인 개선으로 요약하면 테스트 레이싱 평균에서 obstacle 포함 시 평균 거리 20.3% 증가, 충돌 수 30.7% 감소; FTRL-DDPG-SIM의 경우 평균 거리 27.2%, 충돌 42.5% 감소가 보고된다.