[논문 리뷰] Augmenting Reinforcement Learning with Transformer-based Scene Representation Learning for Decision-making of Autonomous Driving

Haochen Liu, Zhiyu Huang외 2명|arXiv (Cornell University)|2022. 08. 24.

Autonomous Vehicle Technology and Safety인용 수 8

한 줄 요약

이 논문은 자율주행을 위한 강화학습(RL)의 성능을 향상시키기 위해 상호작용 및 의도 인식 가능한 시나리오 표현을 위한 다단계 Transformer와 자기학습 기반으로 미래 예측 정보를 현재 잠재 상태에 융합하는 순차 잠재 Transformer(SLT)를 통합한 새로운 프레임워크인 Scene-Rep Transformer를 제안한다. 이 방법은 복잡한 도심 주행 환경에서 샘플 효율성과 의사결정 성능을 크게 향상시키며, 기준 RL 방법에 비해 더 높은 성공률, 향상된 안전성 및 더 다양한 주행 행동을 달성한다.

ABSTRACT

Decision-making for urban autonomous driving is challenging due to the stochastic nature of interactive traffic participants and the complexity of road structures. Although reinforcement learning (RL)-based decision-making scheme is promising to handle urban driving scenarios, it suffers from low sample efficiency and poor adaptability. In this paper, we propose Scene-Rep Transformer to improve the RL decision-making capabilities with better scene representation encoding and sequential predictive latent distillation. Specifically, a multi-stage Transformer (MST) encoder is constructed to model not only the interaction awareness between the ego vehicle and its neighbors but also intention awareness between the agents and their candidate routes. A sequential latent Transformer (SLT) with self-supervised learning objectives is employed to distill the future predictive information into the latent scene representation, in order to reduce the exploration space and speed up training. The final decision-making module based on soft actor-critic (SAC) takes as input the refined latent scene representation from the Scene-Rep Transformer and outputs driving actions. The framework is validated in five challenging simulated urban scenarios with dense traffic, and its performance is manifested quantitatively by the substantial improvements in data efficiency and performance in terms of success rate, safety, and efficiency. The qualitative results reveal that our framework is able to extract the intentions of neighbor agents to help make decisions and deliver more diversified driving behaviors.

연구 동기 및 목표

• 도심 자율주행을 위한 RL 기반 의사결정에서 낮은 샘플 효율성과 낮은 적응성 문제를 해결하기 위해.
• 자신차량, 주변 차량 및 후보 경로 간의 상호작용을 모델링하여 시나리오 표현 학습을 향상시키기 위해.
• 미래의 동적 행동을 현재 잠재 상태에 통합하여 탐색 공간을 줄이고 학습 속도를 높이기 위해.
• 의도 인식 가능한 표현을 통해 더 해석 가능하고 다양한 주행 행동을 가능하게 하기 위해.
• 밀도 높은 교통 상황이 있는 도전적인 시뮬레이션 도심 환경에서 프레임워크를 검증하기 위해.

제안 방법

• 다단계 Transformer(MST)는 차량 궤적 및 후보 경로 웨이포인트와 같은 이질적인 시나리오 요소들을 통합된 잠재 표현으로 인코딩하여, 차량 간 상호작용과 경로 의도를 모두 포착한다.
• 순차 잠재 Transformer(SLT)는 자기학습 기반으로 미래 잠재-행동 쌍의 시퀀스에서 특징을 현재 잠재 벡터로 융합하여 예측 지식을 통합한다.
• SLT는 RL 학습 단계 동안에만 훈련되어 정책 학습을 안내하지만 추론 과정에 영향을 주지 않는다.
• 소프트 액터-크리틱(SAC) 에이전트는 개선된 잠재 표현을 입력으로 사용하여 고품질의 주행 결정을 생성한다.
• 전체 프레임워크는 누적 보상과 작업 성공률을 최대화하기 위해 엔드 투 엔드로 훈련된다.
• SLT의 미래 수평 하이퍼파라미터 $T_G$ 는 다양한 작업 길이에서 예측 정확도와 학습 안정성 간의 균형을 맞추기 위해 튜닝된다.

Figure 1: An overview of our RL decision-making framework with Scene-Rep Transformer. Given perception-processed vectorized scene inputs, the multi-stage Transformer (MST) encodes the multi-modal information with interaction awareness. During training, a sequential latent Transformer (SLT) performs

실험 결과

연구 질문

• RQ1 Transformer 기반의 시나리오 표현 모델이 차량 상호작용과 경로 의도를 포함한 이질적인 주행 요소를 효과적으로 인코딩할 수 있는가?
• RQ2 현재 잠재 상태에 순차적인 예측 정보를 융합함으로써 RL 기반 의사결정에서 탐색 공간을 줄이고 학습 효율성을 향상시킬 수 있는가?
• RQ3 복잡한 도심 주행 작업에서 성공률, 안전성 및 행동 다양성 측면에서 제안된 프레임워크는 기준 RL 방법에 비해 어떻게 비교되는가?
• RQ4 장기 주행 환경에서 예측 융합에 최적의 미래 수평 $T_G$ 는 무엇인가?
• RQ5 모델은 차선 변경, 과도한 회전, 통합 동작와 같은 해석 가능한 주행 행동을 학습할 수 있는가?

주요 결과

• Scene-Rep Transformer는 PPO 및 DrQ 기준 모델에 비해 훨씬 높은 데이터 효율성을 확보하여 높은 성능에 도달하기 위한 훈련 샘플 수를 크게 감소시켰다.
• 비보호 좌회전, 이중 통합, 원형 교차로 등 다섯 가지 시뮬레이션된 도심 시나리오에서 성공률이 높았으며, 정성적 결과는 더 다양한 안전한 주행 동작을 보였다.
• 자신차량은 좌회전 중 차선 변경과 통합 중 다중 차선 변경과 같은 보수적이고 공격적인 행동을 모두 학습하여 정책 일반화 능력이 뛰어나다는 것을 확인했다.
• SLT에서 $T_G = 10$ 인 경우 원형 교차로-C와 같은 장기 작업에서 최고 성능를 기록하여 더 긴 예측 수평이 복잡한 시나리오에서 학습을 향상시킨다는 것을 입증했다.
• 어텐션 시각화 결과 모델이 의도 관련 정보(예: 후보 웨이포인트, 상호작용 다이내믹스)에 적응적으로 집중함을 확인하여 설명 가능성 향상을 입증했다.
• 절단 실험 결과 다단계 Transformer와 SLT 모두 성능 향상에 기여하며, 특히 SLT가 탐색 공간을 줄이고 수렴 속도를 가속화한다는 점이 확인되었다.

Figure 2: An overview of the MST Structure. The urban scenario on the left side can be layered to explicit representations $s_{t}$ as the historical motion states $\mathcal{M}_{t}$ and candidate route waypoints $\mathcal{K}_{t}$ . The implicit layer for agent interactions is modeled in the subsequen