[논문 리뷰] Autonomous Braking System via Deep Reinforcement Learning

Hyunmin Chae, Chang Mook Kang외 4명|arXiv (Cornell University)|2017. 02. 08.

Traffic control and management참고 문헌 8인용 수 24

한 줄 요약

이 논문은 보행자와의 충돌 방지를 위해 실시간으로 최적의 브레이킹 정책을 학습하는 데 깊이 있는 강화학습 기반 자율 브레이킹 시스템을 제안한다. 충돌 회피를 위한 안전성과 효율성을 균형 잡는 보상 함수를 철저히 설계한 마코프 결정 과정(MDP)으로 브레이킹 결정을 공식화함으로써, 이 시스템은 TTC 값이 ≥1.5초인 경우 100% 충돌 방지를 달성했으며, 유로 NCAP AEB 보행자 테스트 전부를 충돌 없이 통과하였다.

ABSTRACT

In this paper, we propose a new autonomous braking system based on deep reinforcement learning. The proposed autonomous braking system automatically decides whether to apply the brake at each time step when confronting the risk of collision using the information on the obstacle obtained by the sensors. The problem of designing brake control is formulated as searching for the optimal policy in Markov decision process (MDP) model where the state is given by the relative position of the obstacle and the vehicle's speed, and the action space is defined as whether brake is stepped or not. The policy used for brake control is learned through computer simulations using the deep reinforcement learning method called deep Q-network (DQN). In order to derive desirable braking policy, we propose the reward function which balances the damage imposed to the obstacle in case of accident and the reward achieved when the vehicle runs out of risk as soon as possible. DQN is trained for the scenario where a vehicle is encountered with a pedestrian crossing the urban road. Experiments show that the control agent exhibits desirable control behavior and avoids collision without any mistake in various uncertain environments.

연구 동기 및 목표

• 도심 환경에서 동적인 불확실한 보행자 횡단 상황에 적응하는 지능형 자율 브레이킹 시스템을 개발하는 것.
• 다양하고 예측할 수 없는 실제 도로 상황에 일반화할 수 없는 규칙 기반 시스템의 한계를 극복하는 것.
• 충돌에 대한 벌점과 위험 신속 완화 사이의 균형을 맞추어 안전하고 적시에 브레이킹 결정을 유도하는 보상 함수를 설계하는 것.
• DQN에서 트라우마 메모리 메커니즘을 도입하여 희귀하지만 치명적인 충돌 시나리오에 대한 학습 안정성과 샘플 효율성을 향상시키는 것.
• 표준화된 유로 NCAP AEB 보행자 테스트를 포함한 다양한 테스트 조건에서 시스템 성능을 검증하는 것.

제안 방법

• 상대적 장애물 위치와 차량 속도로 정의된 상태를 갖는 마코프 결정 과정(MDP)으로 자율 브레이킹 문제를 공식화한다.
• 행동 공간을 네 가지 이산적 브레이킹 동작으로 정의한다: 브레이킹 없음, 약한 브레이킹, 중간 브레이킹, 강한 브레이킹.
• Q-값 함수를 근사하기 위해 완전히 연결된 피드포워드 신경망 아키텍처(15-100-70-50-70-100-4)를 사용하는 딥 Q 네트워크(DQN)를 적용한다.
• 충돌 벌점과 조기 위험 제거 사이의 균형을 맞추기 위해 α=0.001, β=0.1, η=0.01, λ=100로 설정된 파라미터를 갖는 맞춤형 보상 함수를 설계한다.
• 고벌점(충돌) 경험을 저장하고 재학습하기 위한 트라우마 메모리 버퍼(크기 1,000)를 도입하여 학습 안정성과 수렴성을 향상시킨다.
• 학습률 0.0005로 설정된 RMSProp 옵티마이저와 배치 크기 32, 크기 10,000의 리플레이 메모리(경험 재생)를 사용한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 불확실한 도심 환경에서 보행자 충돌 방지를 위한 안정적이고 안전한 브레이킹 정책을 학습할 수 있는가?
• RQ2 제안된 보상 함수는 자율 브레이킹 결정에서 안전성(충돌 회피)과 효율성(조기 위험 제거)을 얼마나 효과적으로 균형 잡는가?
• RQ3 트라우마 메모리 메커니즘이 희귀하지만 결과가 치명적인 충돌 시나리오에 대한 학습 수렴성과 성능을 어느 정도 향상시키는가?
• RQ4 DRL 기반 브레이킹 시스템은 유로 NCAP AEB 보행자 테스트와 같은 표준화된 안전 프로토콜을 준수할 수 있는가?
• RQ5 차량 속도, 보행자 위치, 횡단 시기 등의 다양한 초기 조건에서 시스템은 어떻게 성능을 발휘하는가?

주요 결과

• 트라우마 메모리가 탑재된 DQN 에이전트는 2,000개의 학습 에피소드 내에 안정적인 수렴을 보였으며, 지속적으로 높은 총 누적 보상을 기록했다. 반면, 트라우마 메모리가 없는 베이스라인 DQN은 수렴하지 못했고 성능이 변동성이 컸다.
• 테스트 시나리오에서, 시스템은 모든 TTC 값이 ≥1.5초인 경우 0% 충돌률을 기록하여 실제 조건에서 효과적인 충돌 방지를 입증했다.
• TTC 값이 1.5초 이하인 경우, 0.9초에서 충돌률은 61.29%였으며, 이는 심지어 전 브레이킹 상태여도 높은 초기 차량 속도로 인해 충돌을 피할 수 없음을 시사했다.
• 20–60 km/h 속도 범위에서 시스템은 유로 NCAP AEB 보행자 테스트(CVFA 및 CVNA) 전부를 충돌 없이 통과하여 완전한 규정 준수를 달성했다.
• 평균 정지 거리는 보행자 앞 약 5미터였으며, 이는 안전 간격(3m)과 일치하며 보상 파라미터 조정을 통해 조절 가능했다.
• 궤적 분석 결과, 에이전트는 보행자가 가까워지면서 약한 브레이킹에서 시작하여 점차 강한 브레이킹으로 전환하는 지능적이고 적응형 제어 행동을 보였다.