[논문 리뷰] Transferring Autonomous Driving Knowledge on Simulated and Real Intersections

David Isele, Akansel Cosgun|arXiv (Cornell University)|2017. 11. 30.

Reinforcement Learning in Robotics참고 문헌 23인용 수 14

한 줄 요약

이 논문은 딥 강화학습을 사용하여 자율 주행 교차로 주행에서 지식 전이를 조사하며, 사전 훈련된 DQN을 새로운 교차로 유형에 대해 미세조정하는 것이 무작위 초기화보다 성능을 크게 향상시킨다는 것을 입증한다. 또한 시뮬레이션에서의 전이가 효과적이며, 시뮬레이션에서의 사전 훈련이 실제 환경에서의 학습을 가속화하고 일반화 능력을 향상시킨다는 것을 보여준다.

ABSTRACT

We view intersection handling on autonomous vehicles as a reinforcement learning problem, and study its behavior in a transfer learning setting. We show that a network trained on one type of intersection generally is not able to generalize to other intersections. However, a network that is pre-trained on one intersection and fine-tuned on another performs better on the new task compared to training in isolation. This network also retains knowledge of the prior task, even though some forgetting occurs. Finally, we show that the benefits of fine-tuning hold when transferring simulated intersection handling knowledge to a real autonomous vehicle.

연구 동기 및 목표

• 한 교차로 유형에서 학습된 지식이 다른 교차로 유형으로 일반화되는지 평가하는 것.
• 새로운 교차로 유형에서 사전 훈련된 정책을 미세조정하는 것이 무작위 초기화보다 학습 효율성과 성능을 향상시키는지 조사하는 것.
• 역전이를 평가하는 것: 새로운 작업에서 미세조정을 한 후 원래 작업의 지식이 유지되는 정도.
• 시뮬레이션에서 훈련된 정책을 실제 자율 주행 차량으로 전이하는 가능성 조사.
• 전이 학습이 실제 배포 시 샘플 복잡도를 줄이고 강건성을 향상시킬 수 있는지 결정하는 것.

제안 방법

• 상태, 행동, 보상, 전이 동역학을 포함한 마르코프 결정 과정(MDP)으로 교차로 처리를 수식화한다.
• 딥 Q 네트워크(DQNs)를 사용하여 교차로 주행에서 상태-행동 쌍의 Q-값 함수를 표현한다.
• 직접 복사, 미세조정, 역전이 프로토콜을 사용하여 서로 다른 교차로 유형 간의 지식 전이를 평가한다.
• 사전 훈련과 실제 데이터에서의 미세조정을 통해 시뮬레이션 환경에서의 전이를 실제 자율 주행 차량에 적용한다.
• 정책을 먼저 시뮬레이션에서 훈련한 후 실제 차량 데이터에서 보완하는 커리큘럼 스타일 훈련 설정을 사용한다.
• 학습 속도와 일반화 능력을 측정하는 지표를 사용하여 훈련 및 테스트 세트에서의 성공률을 성능 평가에 활용한다.

실험 결과

연구 질문

• RQ1 한 교차로 유형에서 훈련된 DQN을 다른 교차로 유형으로 직접 전이했을 때 일반화 성능은 어떠한가?
• RQ2 새로운 교차로 유형에서 사전 훈련된 DQN을 미세조정하면 무작위 초기화보다 빠른 수렴과 더 나은 점진적 성능을 달성하는가?
• RQ3 새로운 작업에서 미세조정을 한 후 원래 작업의 지식이 어느 정도 유지되는가(역전이)?
• RQ4 시뮬레이션에서 사전 훈련된 정책을 실제 데이터에서 효과적으로 미세조정하여 실제 차량 성능을 향상시킬 수 있는가?
• RQ5 실제 데이터에서만 훈련된 정책과 비교했을 때, 시뮬레이션에서부터 실제 환경으로의 전이 정책은 학습 속도와 일반화 능력 측면에서 어떻게 성능을 내는가?

주요 결과

• 한 교차로 유형에서 훈련된 DQN을 다른 교차로 유형으로 직접 전이했을 때 성공률이 항상 낮게 나타나 일반화 능력이 떨어지는 것으로 나타났다.
• 새로운 교차로 유형에서 사전 훈련된 DQN을 미세조정하면 거의 모든 경우에서 무작위 초기화보다 더 빠른 학습과 더 높은 점진적 성능을 달성했다.
• 역전이 분석 결과, 새로운 작업에서 미세조정을 한 후 원래 작업의 지식이 부분적으로 유지되었으며, 원래 작업에서의 성능은 직접 복사보다 높았지만, 처음부터 훈련한 네트워크보다 열등했다.
• 시뮬레이션에서부터 실제 환경으로의 전이가 훈련을 크게 가속화했다: 시뮬레이션 사전 훈련 네트워크는 실제 전용 훈련 네트워크가 필요한 반만의 반복 횟수로 훈련 데이터에서 90% 성공률에 도달했다.
• 빠른 수렴에도 불구하고, 실제 전용 훈련 및 시뮬레이션에서부터 실제 환경으로의 전이를 거친 미세조정 네트워크 모두 과적합 현상이 나타났으며, 테스트 성능은 약 80% 성공률에 수렴했다.
• 실제 데이터에서 시뮬레이션으로의 전이는 덜 효과적이었으며, 실제 데이터에서 미세조정된 정책이 시뮬레이션으로 일반화되지 못했는데, 이는 제한된 실제 데이터에 대한 과적합 때문일 가능성이 높다.