[논문 리뷰] Elements of Effective Deep Reinforcement Learning towards Tactical Driving Decision Making

Jingchu Liu, Pengfei Hou외 3명|arXiv (Cornell University)|2018. 02. 01.

Autonomous Vehicle Technology and Safety참고 문헌 19인용 수 15

한 줄 요약

이 논문은 전술적 주행 의사결정에서 딥 강화학습을 위한 세 가지 실용적인 개선 사항을 제안한다: 고도의 제어를 안정적으로 유지하기 위한 비균일한 액션 스킵, 안전한 차선 변경을 유도하기 위한 카운터 기반 차선 페널티, 그리고 추론 시에 불안전한 액션을 걸러내기 위한 히우리스틱 액션 마스킹. 현실적인 시뮬레이터에서 평가된 결과, 기준 모델 대비 안전성, 효율성, 편안함이 크게 향상되었다.

ABSTRACT

Tactical driving decision making is crucial for autonomous driving systems and has attracted considerable interest in recent years. In this paper, we propose several practical components that can speed up deep reinforcement learning algorithms towards tactical decision making tasks: 1) non-uniform action skipping as a more stable alternative to action-repetition frame skipping, 2) a counter-based penalty for lanes on which ego vehicle has less right-of-road, and 3) heuristic inference-time action masking for apparently undesirable actions. We evaluate the proposed components in a realistic driving simulator and compare them with several baselines. Results show that the proposed scheme provides superior performance in terms of safety, efficiency, and comfort.

연구 동기 및 목표

• 표준 딥 강화학습 기법—특히 액션 반복—의 불안정성과 비효율성을 해결하기 위해 고도의 전술적 주행 의사결정에서의 문제를 다루기 위해.
• 전역 목표 지표나 조밀한 국소 페널티와 같은 부득이하거나 오해의 소지가 있는 보상 신호에 대한 의존도를 줄이기 위해.
• 불안전한 행동을 명백히 걸러내는 히우리스틱 규칙을 통합함으로써 추론의 신뢰성을 향상시키기 위해.
• 기존의 딥 강화학습 프레임워크에 최소한의 수정으로 복잡한 다차선 교통 환경에서 성능을 향상시키는 구성요소를 개발하기 위해.

제안 방법

• 비균일한 액션 스킵은 액션 반복을 대체하여 의미적 안정성 기반으로 액션을 선택적으로 스킵함으로써 고수준 의사결정 의미의 불연속성을 감소시킨다.
• 자신의 차선에서 우선권이 적은 차선에 대해 카운터 기반 페널티를 도입하여 위험 노출을 시간에 따라 동적으로 추적함으로써 더 안전한 차선 변경을 유도한다.
• 추론 시점에 히우리스틱 규칙 기반 액션 마스킹을 적용하여 환경적 맥락에 따라 명백히 불안전한 행동(예: 안전하지 않은 차선 변경, 만남 교통으로의 주행)을 제외한다.
• 이 구성요소들은 고수준 전략 결정을 담당하는 딥 강화학습 에이전트와, 라우팅, 플래닝, 제어를 비학습 모듈이 담당하는 계층적 자율주행 시스템에 통합된다.
• 보상 함수는 전역 목표 지표와 조밀한 국소 페널티를 배제하고, 제약 위반과 카운터 기반 위험 신호에 기반한다.
• 시스템은 복잡한 시나리오(양방향 교통, 신호등이 있는 교차로 포함)를 수반하는 현실적인 주행 시뮬레이터에서 평가된다.

실험 결과

연구 질문

• RQ1 비균일한 액션 스킵은 전통적인 액션 반복 대비 전술적 주행 의사결정에서 안정성과 성능 측면에서 어떻게 비교되는가?
• RQ2 조밀하거나 전역 보상 신호에 의존하지 않고도 카운터 기반 차선 페널티가 안전한 차선 이동 행동을 효과적으로 유도할 수 있는가?
• RQ3 히우리스틱 액션 마스킹 규칙은 추론 시 안전성과 전체 에이전트 성능을 얼마나 향상시키는가?
• RQ4 전역 목표 지표와 조밀한 국소 보상의 제거는 복잡한 교통 환경에서 더 강건하고 효율적인 학습을 이끌어내는가?
• RQ5 이 구성요소들은 존재하는 딥 강화학습 파이프라인에 최소한의 수정으로 모듈식 프레임워크에 효과적으로 통합될 수 있는가?

주요 결과

• 비균일한 액션 스킵은 특히 의미의 불연속성이 있는 고수준 의사결정 작업에서 액션 반복 대비 성공률을 크게 향상시키고 불안정성을 감소시킨다.
• 카운터 기반 차선 페널티는 일정한 페널티와 조밀한 국소 페널티보다 뛰어나며, 다차선 환경에서 안전성과 효율성의 보다 우수한 트레이드오���을 가능하게 한다.
• 히우리스틱 액션 마스킹은 명백히 불안전한 행동을 걸러내어 성공률을 높이며, 더 엄격한 규칙은 약간의 속도 감소를 감수하면서도 더 큰 안전성 향상을 이룬다.
• 실험 결과 전역 목표 지표와 조밀한 국소 페널티가 중복되고 해로운 것으로 밝혀졌으며, 이는 성공률과 종방향 속도를 떨어뜨린다.
• 비균일한 액션 스킵과 액션 마스킹을 조합하면 가장 높은 성공률을 기록하며, 복잡한 주행 환경에서 상호보완적인 이점을 입증한다.