[논문 리뷰] Safe Trajectory Planning Using Reinforcement Learning for Self Driving

Josiah Coad, Zhiqian Qiao외 1명|arXiv (Cornell University)|2020. 11. 09.

Autonomous Vehicle Technology and Safety참고 문헌 26인용 수 5

한 줄 요약

이 논문은 자율주행 차량의 경로 계획을 위한 모델 프리 레이어닝(Reinforcement Learning, RL) 접근법을 제안하며, 운동 계획을 직접 제어에서 분리하여 안전성과 승차 편안함을 향상시킨다. 연속된 행동 공간에서 안정성 제약 조건을 후처리 필터를 통해 강제함으로써, 이는 이산적 탐색 또는 종단 간 제어 방법보다 빠른 추론, 감소된 제트(jerk) 및 낮은 충돌 위험을 달성한다.

ABSTRACT

Self-driving vehicles must be able to act intelligently in diverse and difficult environments, marked by high-dimensional state spaces, a myriad of optimization objectives and complex behaviors. Traditionally, classical optimization and search techniques have been applied to the problem of self-driving; but they do not fully address operations in environments with high-dimensional states and complex behaviors. Recently, imitation learning has been proposed for the task of self-driving; but it is labor-intensive to obtain enough training data. Reinforcement learning has been proposed as a way to directly control the car, but this has safety and comfort concerns. We propose using model-free reinforcement learning for the trajectory planning stage of self-driving and show that this approach allows us to operate the car in a more safe, general and comfortable manner, required for the task of self driving.

연구 동기 및 목표

• 이산적 탐색과 수치 최적화에 의존하는 전통적 경로 계획 방법의 한계를 해결하기 위해, 계산 비용이 높고 부드럽지 못한 점을 개선한다.
• 종단 간 RL 제어에서의 안전성 및 해석 가능성 문제를 해결하기 위해, 경로 계획을 저수준 제어에서 분리한다.
• 다양한 차원의 복잡한 주행 환경에서, 기울기 가능하고 연속된 행동을 갖는 RL 정책을 통해 더 안전하고 편안하며 빠른 경로 생성을 가능하게 한다.
• 안전성 제약 조건을 RL 파ip라인에 통합하기 위해, 제어 실행 이전에 위험한 경로를 거르는 필터링을 통해 물리적 및 운영적 한계를 준수한다.
• RL 기반 계획이 이산적 탐색과 종단 간 제어 모두보다 경로의 부드러움, 계산 효율성, 안전성 측면에서 뛰어나다는 것을 입증한다.

제안 방법

• perception 입력(점유 격자 및 속도 제한)을 기반으로 연속된 행동 공간에서 전체 경로를 계획하기 위해 모델 프리 딥 강화학습 에이전트(PPO)를 사용한다.
• 경로 계획을 직접 제어에서 분리한다: RL 정책은 경로를 출력하고, 이를 별도의 PID 제어기가 추적한다.
• 안전성 제약 조건 모듈(알고리즘 1)을 적용하여, 도로 외부 진입, 충돌, 과도한 곡률 또는 가속도 위반과 같은 안전 규칙을 위반하는 경로를 거부한다.
• 경로에서 도로 이탈, 고풍부, 과도한 가속도/제트, 추가 거리 등을 벌어지지 않도록 강화하는 조밀하고 형태가 조정된 보상 함수를 사용하여 RL 정책을 훈련시킨다.
• 정책 및 가치 네트워크 모두에 완전 연결 신경망(64-64 유닛)을 사용하며, 표준 하이퍼파rameter를 사용하여 Proximal Policy Optimization(PPO)로 훈련한다.
• 오프-폴리시 데이터 수집 및 커리큘럼 러닝을 활용하여 시뮬레이션 환경에서 샘플 효율성과 훈련 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 안전성과 편안함을 유지하면서, 모델 프리 강화학습이 자율주행 차량의 경로 계획에 효과적으로 활용될 수 있는가?
• RQ2 계산 속도와 경로의 부드러움 측면에서, RL 기반 경로 계획은 이산적 탐색에 비해 어떻게 비교되는가?
• RQ3 정책 성능을 손상시키지 않고도, RL에 의해 생성된 경로에 안전성 제약 조건을 효과적으로 적용할 수 있는가?
• RQ4 종단 간 제어 방법에 비해, RL 기반 계획은 제트를 줄이고 승차 편안함을 향상시키는가?
• RQ5 다양한 장애물 구성과 속도 제한을 가진 다양한 주행 시나리오에서 RL 정책이 일반화 가능한가?

주요 결과

• 1000 에피소드 동안 이산적 탐색 대비 평균 속도 추적 오차가 29% 감소한 결과(5.306 ± 0.126 vs. 7.582 ± 0.195)를 기록했다.
• 최대 제트가 52% 감소(0.194 ± 0.005 vs. 0.407 ± 0.012)하고 최대 곡률이 59% 감소(0.304 ± 0.010 vs. 0.738 ± 0.026)하여, 훨씬 더 부드러운 경로를 생성함을 시사한다.
• 추론 시간이 10배 빨라진 결과(8.7×10⁻⁴ s vs. 7.9×10⁻³ s)를 기록하여 실시간 구현에 적합함을 입증했다.
• 안전성 제약 메커니즘이 정적 환경에서 100% 성공률로 모든 충돌을 방지했으며, 초기에 위험한 경로를 제안한 RL 정책에도 불구하고 효과적으로 기능했다.
• 초과 거리가 43% 감소(0.185 ± 0.007 vs. 0.317 ± 0.011)하고 최대 중심가속도가 16% 감소(1.147 ± 0.036 vs. 1.367 ± 0.058)하여 안전성과 편안함이 향상됨을 확인했다.
• 재학습 없이도 다중 차선 도로에 정적 장애물과 변동 속도 제한이 있는 다양한 시나리오에서 우수한 일반화 성능을 보였다.