[논문 리뷰] Reinforcement Learning based Control of Imitative Policies for Near-Accident Driving

Zhangjie Cao, Erdem Bıyık외 5명|arXiv (Cornell University)|2020. 07. 01.

Autonomous Vehicle Technology and Safety참고 문헌 52인용 수 5

한 줄 요약

이 논문은 근접 사고 주행 상황에서 안전하고 효율적인 주행을 가능하게 하기 위해, 저수준 주행 모드(예: 공격적, 경계적)에 대한 이민 학습(IL)과 고수준 모드 전환에 대한 강화 학습(RL)을 조합한 계층적 강화 및 이민 학습 프레임워크인 H-ReIL을 제안한다. 이 방법은 유저 연구를 통해 기준 모델들보다 통계적으로 유의미하게 높은 선호도를 보이며(p < 0.005), 뛰어난 안전성과 효율성을 달성한다.

ABSTRACT

Autonomous driving has achieved significant progress in recent years, but autonomous cars are still unable to tackle high-risk situations where a potential accident is likely. In such near-accident scenarios, even a minor change in the vehicle's actions may result in drastically different consequences. To avoid unsafe actions in near-accident scenarios, we need to fully explore the environment. However, reinforcement learning (RL) and imitation learning (IL), two widely-used policy learning methods, cannot model rapid phase transitions and are not scalable to fully cover all the states. To address driving in near-accident scenarios, we propose a hierarchical reinforcement and imitation learning (H-ReIL) approach that consists of low-level policies learned by IL for discrete driving modes, and a high-level policy learned by RL that switches between different driving modes. Our approach exploits the advantages of both IL and RL by integrating them into a unified learning framework. Experimental results and user studies suggest our approach can achieve higher efficiency and safety compared to other methods. Analyses of the policies demonstrate our high-level policy appropriately switches between different low-level policies in near-accident driving situations.

연구 동기 및 목표

• 작은 상태 변화가 급격한 행동 전환을 유도하는 고위험, 근접 사고 주행 상황에서의 안전하고 효율적인 의사결정 도전 과제를 해결한다.
• 순수한 RL과 IL이 주행 정책의 비연속적이고 급격한 단계 전환을 다루는 데서 비롯하는 한계를 극복한다.
• 특정 주행 스타일에 대한 전문가 시범을 활용하면서도, 강화 학습을 통한 동적 전환을 가능하게 하는 확장 가능한 프레임워크를 개발한다.
• 불완전한 좌회전 및 통합과 같은 복잡한 주행 상황에서 안전성과 효율성 간의 균형 잡힌 트레이드오프를 달성한다.
• 실제 근접 사고 환경에서의 시뮬레이션과 유저 평가를 통해 계층적 정책 학습의 효과성을 입증한다.

제안 방법

• 안전성과 효율성 간의 트레이드오프를 기반으로, 공격적, 경계적 등과 같은 이산적 주행 모드를 정의한다.
• 조건부 이민 학습을 통해 저수준 정책을 훈련하며, 각 정책 브랜치는 전문가 시범을 기반으로 특정 주행 모드에 특화된다.
• 현재 환경 상태에 따라 최적의 저수준 정책을 선택하는 고수준 강화 학습 정책을 구현한다.
• 모드별로 특화된 행동 분기와 공유된 특징 추출기 구조를 사용하며, 고수준 행동 $a_h$는 활성화된 저수준 정책을 선택한다.
• CARLA에서 시뮬레이션된 환경에서 밀도 높은 보상 함수를 사용해 안전성과 효율성을 확보하고, 적응형 모드 전환을 가능하게 하기 위해 고수준 정책을 훈련한다.
• 계층적 정책을 통합된 프레임워크로 통합하여 근접 사고 상황에서 엔드 투 엔드 훈련 및 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 작은 상태 변화가 급격한 행동 변화를 요구하는 근접 사고 주행 상황에서, 계층적 RL-IL 프레임워크가 급격한 단계 전환을 효과적으로 모델링할 수 있는가?
• RQ2 특정 주행 모드에 대한 이민 학습과 모드 전환에 대한 강화 학습을 융합할 경우, 순수한 IL 또는 RL보다 안전성과 효율성이 향상되는가?
• RQ3 고수준 정책이 상대 차량 속도와 같은 동적 환경 신호에 적절히 반응하여 모드 전환을 학습할 수 있는가?
• RQ4 시간 제약 조건 하에서, 제안된 H-ReIL 방법이 기준 모델들(예: IL, Random, Aggressive)에 비해 충돌 회피 능력과 완료율 측면에서 어떻게 성능을 내는가?
• RQ5 사용자들이 안전성과 주행 품질 측면에서 H-ReIL을 다른 주행 정책들보다 얼마나 선호하는가?

주요 결과

• 49명의 참가자로 구성된 유저 연구에서 H-ReIL는 기준 모델들에 비해 통계적으로 유의미하게 높은 선호도를 보였으며, 7점 리커트 척도에서 p값은 0.005 이하였다.
• 정지 차량 및 잘못된 방향 주행 시나리오에서 H-ReIL는 각각 [35,75] 및 [25,45] 타임스텝 근처에서 명확한 단계 전환을 보였으며, 충돌 위험이 증가할수록 경계적 정책으로 전환하였다.
• H-ReIL는 IL의 온건한 경계적 정책보다는 높은 중간 속도를 유지하면서도, 충돌 빈도는 IL과 유사하게 유지하면서 전체 효율성은 더 뛰어나게 하였다.
• 횡단 교통 시나리오에서 H-ReIL는 다양한 시간 제약 조건 하에서도 IL 및 Random과 비교해 일관되게 높거나 유사한 완료율을 기록했으며, 더 긴 시간 제약 조건 하에서는 공격적 기준 모델을 능가하는 성능을 보였다.
• 정책 시각화 결과 H-ReIL는 높은 위험 구역에서는 경계적 모드를 정확히 선택하고, 안전한 영역에서는 공격적 모드를 선택하는 등 맥락 인식 기반의 전환을 성공적으로 수행하였다.
• 저수준의 IL 정책는 각 모드당 최소한의 전문가 시범만으로도 성공적으로 훈련되었으며, 고수준의 RL 정책는 전체 환경 커버리지가 필요 없이도 효과적으로 모드 선택을 조율하였다.