[논문 리뷰] Encoding Distributional Soft Actor-Critic for Autonomous Driving in Multi-lane Scenarios

Jingliang Duan, Yangang Ren외 6명|arXiv (Cornell University)|2021. 09. 12.

Reinforcement Learning in Robotics참고 문헌 30인용 수 5

한 줄 요약

이 논문은 다차선 주행 환경에서 주변 차량의 수가 변동하는 상황에서도 수동으로 차량 순서를 정하는 규칙이 필요 없도록, 순열 불변 특징 인코더를 사용하는 새로운 강화학습 알고리즘인 Encoding Distributional Soft Actor-Critic (E-DSAC)을 제안한다. E-DSAC는 시뮬레이션 및 실차 실험 모두에서 DSAC 대비 약 3배 높은 정책 수익을 달성하며, 인간이 개입하는 상황에서도 안정적이고 부드럽고 안전한 주행을 구현한다.

ABSTRACT

In this paper, we propose a new reinforcement learning (RL) algorithm, called encoding distributional soft actor-critic (E-DSAC), for decision-making in autonomous driving. Unlike existing RL-based decision-making methods, E-DSAC is suitable for situations where the number of surrounding vehicles is variable and eliminates the requirement for manually pre-designed sorting rules, resulting in higher policy performance and generality. We first develop an encoding distributional policy iteration (DPI) framework by embedding a permutation invariant module, which employs a feature neural network (NN) to encode the indicators of each vehicle, in the distributional RL framework. The proposed DPI framework is proved to exhibit important properties in terms of convergence and global optimality. Next, based on the developed encoding DPI framework, we propose the E-DSAC algorithm by adding the gradient-based update rule of the feature NN to the policy evaluation process of the DSAC algorithm. Then, the multi-lane driving task and the corresponding reward function are designed to verify the effectiveness of the proposed algorithm. Results show that the policy learned by E-DSAC can realize efficient, smooth, and relatively safe autonomous driving in the designed scenario. And the final policy performance learned by E-DSAC is about three times that of DSAC. Furthermore, its effectiveness has also been verified in real vehicle experiments.

연구 동기 및 목표

• 기존의 강화학습 기반 의사결정 방법이 다차선 자율주행 환경에서 차량 순서에 민감하고 고정된 차량 수에 의존하는 한계를 해결하기 위해.
• 주변 차량에 대한 수작업으로 설계된 정렬 규칙이 필요 없는 일반화 가능하고 확장 가능한 정책 학습 프레임워크를 개발하기 위해.
• 변동하는 주변 차량 수가 있는 복잡하고 동적인 교통 환경에서 정책 성능과 강인성을 향상시키기 위해.
• 제안된 방법의 효과성을 시뮬레이션 및 실차 환경에서 모두 검증하기 위해, 인간이 개입하는 상황까지 포함하여.

제안 방법

• 순열 불변 특징 신경망(NN)을 통합한 Encoding Distributional Policy Iteration (DPI) 프레임워크를 도입하여 분포 기반 강화학습 환경에서 차량 지표를 인코딩한다.
• 합성 및 연결 연산을 사용해 주변 차량의 상대 상태(예: 거리, 속도)를 특징 NN으로 인코딩하여 입력 순서에 관계없이 동일한 결과를 보장한다.
• 정책 평가 과정에서 특징 NN에 대한 기울기 기반 업데이트를 통합하여 표현과 정책의 엔드 투 엔드 학습을 가능하게 하여 DSAC 알고리즘을 확장한다.
• 안전하고 효율적이며 부드러운 주행 동작(예: 차선 유지, 차선 변경, 추월)을 유도하기 위해 구조화된 보상 함수를 사용한 다차선 고속도로 주행 작업을 설계한다.
• 수익 분포를 모델링하는 분포 기반 강화학습 프레임워크를 도입하여 샘플 효율성과 정책 강인성을 향상시킨다.
• 인위적인 조향 휠 간섭을 포함한 시뮬레이션 및 실차 실험을 통해 방법의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 변동하는 주변 차량 수가 있는 다차선 자율주행 환경에서 순열 불변 표현 학습 프레임워크는 정책 일반화 및 성능 향상에 기여하는가?
• RQ2 주변 차량에 대한 수작업 정렬 규칙이 제거되면, 복잡한 교통 환경에서 더 높은 정책 수익과 더 나은 강인성을 달성하는가?
• RQ3 제안된 E-DSAC 알고리즘이 시뮬레이션 및 실제 주행 작업 모두에서 기준선 DSAC보다 뛰어난 성능을 보이는가?
• RQ4 정책은 인간이 조향을 개입한 상황에서 어떻게 반응하는가? 이는 정책의 강인성과 인간-기계 공유 제어와의 호환성을 시사하는가?

주요 결과

• E-DSAC 알고리즘은 시뮬레이션된 다차선 고속도로 환경에서 DSAC 대비 약 3배 높은 최종 정책 수익을 달성했다.
• E-DSAC가 학습한 정책은 차선 유지, 차선 변경, 추월 등의 부드럽고 효율적이며 안전한 자율주행 행동을 보였다.
• 실차 실험을 통해 정책가 인간에 의한 조향 간섭 상황에서도 성공적으로 대처했으며, 제어권 회복 후 차선으로 신속하게 복귀하는 것을 확인했다.
• 주변 차량 수가 변동하더라도 높은 성능과 안정성을 유지하여, 본 방법의 강인성과 일반화 능력을 입증했다.
• 특징 인코딩 DPI 프레임워크는 다른 강화학습 알고리즘(예: E-SAC, E-TD3, E-DDPG)으로도 성공적으로 확장되었으며, 광범위한 호환성과 일관된 성능 향상을 보였다.
• 제안된 방법은 주변 차량에 대한 사전 정의된 정렬 규칙이 필요 없게 되어, 실세계 적용에 있어 확장성과 실용성이 크게 향상되었다.