[논문 리뷰] Action-Based Representation Learning for Autonomous Driving

Yi Xiao, Felipe Codevilla외 2명|arXiv (Cornell University)|2020. 08. 21.

Gaussian Processes and Bayesian Inference참고 문헌 40인용 수 5

한 줄 요약

이 논문은 전문가 시범 데이터에서 학습된 행동 기반 표현 학습 프레임워크를 제안하여 자율주행을 위한 분리된 시각 표현을 학습한다. 역역학, 전방 역학, 행동 복제를 활용하여 전문가 시범 데이터에서 표현을 사전 학습하고, 이를 사양 예측에 맞춤 조정함으로써 주행 벤치마크에서 뛰어난 성능을 달성한다. 특히 빨간 신호등에서 멈추는 데서는 엔드 투 엔드 복제 학습보다 유의하게 뛰어난 성능을 보인다.

ABSTRACT

Human drivers produce a vast amount of data which could, in principle, be used to improve autonomous driving systems. Unfortunately, seemingly straightforward approaches for creating end-to-end driving models that map sensor data directly into driving actions are problematic in terms of interpretability, and typically have significant difficulty dealing with spurious correlations. Alternatively, we propose to use this kind of action-based driving data for learning representations. Our experiments show that an affordance-based driving model pre-trained with this approach can leverage a relatively small amount of weakly annotated imagery and outperform pure end-to-end driving models, while being more interpretable. Further, we demonstrate how this strategy outperforms previous methods based on learning inverse dynamics models as well as other methods based on heavy human supervision (ImageNet).

연구 동기 및 목표

• 전문가 시범 데이터에서 행동 기반 감독을 활용하여 자율주행을 위한 시각 표현 학습을 향상시키기 위해.
• 엔드 투 엔드 복제 학습과 비교하여 전문가 데이터를 사전 학습하면 사양 예측 및 주행 성능이 향상되는지 조사하기 위해.
• CARLA 0.9.6를 사용하여 보다 향상된 보행자 및 차량 역학을 포함한 강력한 벤치마크를 개발하기 위해.
• 자기 지도 학습 목표(역모델, 전방 모델, 행동 복제)가 자율주행 표현 학습에 얼마나 효과적인지 평가하기 위해.
• 사전 학습된 표현을 사용한 사양 기반 제어가 안전 핵심 시나리오(예: 빨간 신호등에서 멈추기)에서 주행 성능을 크게 향상시키는지 보여주기 위해.

제안 방법

• 이 방법은 이미지 관측치, 속도, 고수준 명령어를 처리하기 위해 ResNet-34 인코더를 사용하며, 특징들을 결합하여 공유 및 작업별 헤드를 거친다.
• 세 가지 자기 지도 학습 목표를 사용한다: 역역학(상태 전이에서 행동 예측), 전방 역학(행동에서 미래 상태 예측), 행동 복제(상태에서 행동 예측).
• 별도의 사양 예측 네트워크 $ g_{ heta} $ 는 이진 사양(보행자, 차량, 빨간 신호등)과 상대적 조향 각도를 예측하도록 훈련된다.
• PID 기반 제어기가 예측된 사양을 사용해 조향, 가속도, 브레이크 명령어를 생성하며, 위험 감지 시 브레이킹이 활성화된다.
• 선형 프로빙을 사용하여 모델을 미세 조정하고, 업데이트된 보행자 및 차량 역학을 포함한 CARLA 0.9.6의 수정된 NoCrash 벤치마크에서 평가된다.
• 프레임워크는 행동 복제 인코더를 사양 예측에 맞춤 조정하기 위해 사전 학습 전략을 사용하여 엔드 투 엔드 학습보다 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 전문가 시범 데이터에서 표현 모델을 사전 학습하면 엔드 투 엔드 복제 학습과 비교해 사양 예측 및 하류 주행 성능이 향상되는가?
• RQ2 역모델, 전방 모델, 행동 복제와 같은 다양한 자기 지도 학습 목표는 자율주행을 위한 유용한 시각 표현을 학습하는 데 어떻게 비교되는가?
• RQ3 사전 학습된 표현을 사용한 사양 기반 제어는 빨간 신호등에서 멈추는 것과 같은 안전 핵심 시나리오에서 더 뛰어난 성능을 낼 수 있는가?
• RQ4 향상된 보행자 및 차량 역학을 포함한 업데이트된 CARLA 0.9.6 벤치마크는 주행 정책 평가에 어떻게 영향을 미치는가?
• RQ5 사전 학습에 전문가 시범 데이터를 사용할 경우와 무작위 정책 데이터를 사용할 경우 주행 정책의 일반화 및 강건성에 어떤 영향을 미치는가?

주요 결과

• 행동 복제 사전 학습은 엔드 투 엔드 행동 복제보다 유의하게 뛰어나며, 일반 NoCrash 벤치마크에서 91%의 성공률, 농도 시나리오에서 68%의 성공률를 기록했고, 엔드 투 엔드 학습은 각각 47%와 20%였다.
• 역모델은 주행 조작 예측에서 가장 뛰어난 성능을 보였으며, 좌회전 예측의 평균 절대 오차(MAE)는 0.17°였고, 행동 복제의 3.76°와 역모델에 전문가 데이터를 적용한 경우의 2.03°보다 우수했다.
• 역모델 사전 학습을 사용할 경우 빨간 신호등 예측의 F1 스코어가 89%로 기록되었으며, 행동 복제(86%) 및 전방 모델(60%)보다 유의하게 뛰어났다.
• 새로운 도시 설정에서 사전 학습 전략은 일반 시나리오에서 83%의 성공률, 농도 시나리오에서 25%의 성공률를 기록했고, 엔드 투 엔드 학습은 각각 71%와 12%였다. 이는 일반화 성능 향상을 보여준다.
• 농도 시나리오에서 전문가 시범 데이터를 사용한 사전 학습은 빨간 신호등 정지 성공률가 90%였고, 엔드 투 엔드 행동 복제의 경우 뿐만 8%에 그쳤다.
• 선형 프로빙 결과, 역모델 사전 학습은 좌회전 예측에서 가장 낮은 MAE(0.17°)와 가장 높은 F1 스코어(89%)를 기록하여 더 우수한 표현 품질을 입증했다.