[논문 리뷰] Model-Predictive Policy Learning with Uncertainty Regularization for Driving in Dense Traffic

Mikael Henaff, Alfredo Canziani외 1명|arXiv (Cornell University)|2019. 01. 08.

Gaussian Processes and Bayesian Inference참고 문헌 40인용 수 78

한 줄 요약

이 논문은 관찰 데이터만으로 환경과의 상호작용 없이 확률적 순방향 모델과 정책을 학습하여 정책 비용에 불확실성 규제를 더해 다단 계역(backpropagation)을 통해 학습된 동역학을 적용하는 방식으로 다중 단계 역전파를 가능하게 하여 관찰 데이터로부터 운전 정책을 학습한다.

ABSTRACT

Learning a policy using only observational data is challenging because the distribution of states it induces at execution time may differ from the distribution observed during training. We propose to train a policy by unrolling a learned model of the environment dynamics over multiple time steps while explicitly penalizing two costs: the original cost the policy seeks to optimize, and an uncertainty cost which represents its divergence from the states it is trained on. We measure this second cost by using the uncertainty of the dynamics model about its own predictions, using recent ideas from uncertainty estimation for deep networks. We evaluate our approach using a large-scale observational dataset of driving behavior recorded from traffic cameras, and show that we are able to learn effective driving policies from purely observational data, with no environment interaction.

연구 동기 및 목표

• 환경 상호작용이 비용이 들거나 위험한 관찰 운전 데이터로부터 정책 학습을 자극합니다.
• 데이터로부터 행동-조건부 순방향 모델을 학습한 다음 unrolled 모델을 통한 역전파로 정책을 학습하는 두 단계 방식 제안.
• 학습 데이터에서 벗어난 상태를 억제하기 위해 모델 예측 불확실성에 기반한 불확실성 비용을 도입합니다.
• 불확실성 규제 모델 기반 계획이 Dense-traffic 운전에서 정책 품질을 향상시키는지 시演합니다.
• 추가 연구를 위한 데이터셋과 환경을 공개합니다.

제안 방법

• VAE 스타일 잠재 변수 z_t와 z-dropout을 사용한 q_phi를 가진 action-conditional forward model f_theta(s_1:t, a_t, z_t)를 학습합니다.
• 앞으로의 시퀀스를 T로 확장하고 정책 비용 C와 불확실성 비용 U를 결합한 미분 가능 손실을 역전파합니다. 여기서 U는 여러 dropout 마스크 하의 앞으로의 예측 공분산의 트레이스입니다.
• U를 dropout 기반 근사로 추정하고 Var를 K번의 앞으로 패스에 대해 계산한 후 트레이스를 취합니다: U(s_hat_{t+1}) = tr(Cov[{f_theta_k(s_1:t,a_t,z_t)}_{k=1}^K]).
• 잠재 변수 z-드랍아웃에 의한 수정된 후방 분포가 실제 포스터리어를 근사하는 방식으로 베이지안 신경망과 forward 모델을 연결합니다.
• 두 가지 변형을 정의합니다: MPUR (Model-Predictive Policy with Uncertainty Regularization) 및 MPER (Model-Predictive Policy with Expert Regularization).
• 학습된 동역학을 적용하여 rolled-out 트레이젝토리에 대해 그래디언트 기반 최적화를 통해 확률적 정책 pi_psi를 학습합니다. 그래디언트는 unrolled 모델을 통해 흐릅니다.

실험 결과

연구 질문

• RQ1 환경과의 상호작용이 비용이 크거나 위험한 경우 관찰 운전 데이터로부터 정책을 학습할 수 있는가? 데이터를 벗어난 디비에이션을 벌하는 방식으로?
• RQ2 불확실성 규제를 포함한 forward-model 기반 정책 학습이 Dense-traffic 운전에서 성능을 향상시키는가?
• RQ3 잠재 변수(z-드롭아웃)에 대한 수정된 포스터리오가 행동에 대한 반응성과 정책 성능에 어떤 영향을 주는가?
• RQ4 더 긴 롤아웃 기간이 학습 데이터 매니폴드에 맞춘 상태 분포와의 일치를 어떻게 변화시키는가?

주요 결과

• MPUR 및 MPER 정책이 관찰 데이터에서 학습된 baselines(imit조 및 SVG/VG 변형 포함)를 크게 능가합니다.
• 불확실성 비용의 포함은 필수적이며 제거하면(VG) 높은 불확실성과 현실 환경 성능 저하를 초래합니다.
• 더 긴 롤아웃 기간이 방법 전반에 걸쳐 정책 성능을 크게 개선하며, 확률적 모델과 z-드롭아웃이 최상의 이득을 제공합니다.
• z-드롭아웃을 활용한 수정된 포스터리오가 행동에 대한 반응성을 높이고 확률적 역동 모델에서 정책 성공을 높입니다.
• MPUR 접근법은 관찰 데이터 범위 내에서 Dense traffic 운전 과제에서 거의 인간 수준의 성능에 도달할 수 있습니다.
• 정책 및 환경 결과는 정량 지표와 질적 궤적 분석으로 뒷받침됩니다.