[논문 리뷰] Modeling Human Driving Behavior through Generative Adversarial Imitation Learning

Raunak Bhattacharyya, Blake Wulfe외 5명|arXiv (Cornell University)|2020. 06. 10.

Anomaly Detection Techniques and Applications인용 수 12

한 줄 요약

이 논문은 실제 NGSIM 데이터를 사용하여 인간 주행 행동을 모델링하기 위해 개선된 생성적 적대적 모방 학습(GAIL) 프레임워크를 제안한다. 다중 에이전트 상호작용을 위해 PS-GAIL를 도입하고, 영역별 보상 설계를 위한 RAIL을 도입하며, 잠재 주행 스타일을 분리하기 위해 Burn-InfoGAIL를 활용함으로써, 더 낮은 오차와 더 현실적인 교통 동역학을 보이는 인간의 궤적을 우수하게 모방한다.

ABSTRACT

An open problem in autonomous vehicle safety validation is building reliable models of human driving behavior in simulation. This work presents an approach to learn neural driving policies from real world driving demonstration data. We model human driving as a sequential decision making problem that is characterized by non-linearity and stochasticity, and unknown underlying cost functions. Imitation learning is an approach for generating intelligent behavior when the cost function is unknown or difficult to specify. Building upon work in inverse reinforcement learning (IRL), Generative Adversarial Imitation Learning (GAIL) aims to provide effective imitation even for problems with large or continuous state and action spaces, such as modeling human driving. This article describes the use of GAIL for learning-based driver modeling. Because driver modeling is inherently a multi-agent problem, where the interaction between agents needs to be modeled, this paper describes a parameter-sharing extension of GAIL called PS-GAIL to tackle multi-agent driver modeling. In addition, GAIL is domain agnostic, making it difficult to encode specific knowledge relevant to driving in the learning process. This paper describes Reward Augmented Imitation Learning (RAIL), which modifies the reward signal to provide domain-specific knowledge to the agent. Finally, human demonstrations are dependent upon latent factors that may not be captured by GAIL. This paper describes Burn-InfoGAIL, which allows for disentanglement of latent variability in demonstrations. Imitation learning experiments are performed using NGSIM, a real-world highway driving dataset. Experiments show that these modifications to GAIL can successfully model highway driving behavior, accurately replicating human demonstrations and generating realistic, emergent behavior in the traffic flow arising from the interaction between driving agents.

연구 동기 및 목표

• 자율주행 차량 시뮬레이션에서 인간 주행 행동을 신뢰할 수 있고 데이터 기반으로 모델링하기 위한 방법을 개발하는 것.
• 기본 GAIL이 다중 에이전트 상호작용, 영역 특화 주행 규칙, 인간 시범 데이터 내 잠재적 변동성 처리에 한계를 보이는 문제를 해결하는 것.
• 실제 주행 데이터에서 직접 신경 정책을 학습함으로써 고속도로 교통을 정확하고 확장 가능하며 현실적인 방식으로 시뮬레이션할 수 있도록 하는 것.
• 비용 함수가 알려지지 않은 고차원적, 확률적, 비선형 주행 환경에서 모의 학습 성능을 향상시키는 것.

제안 방법

• 다양한 상호작용하는 에이전트를 한 번에 학습할 수 있도록 허용하는 GAIL의 파라미터 공유 변형인 PS-GAIL를 제안한다.
• 보상 신호를 수정하여 도메인 지식(예: 차선 유지, 안전 거리 유지)을 통합하는 RAIL(Reward Augmented Imitation Learning)을 도입한다.
• 서로 다른 정보 최대화를 통해 전문가 시범 데이터에서 잠재 주행 스타일(예: 과도한 주행 대비 경계 주행)을 분리하는 Burn-InfoGAIL를 개발한다.
• 버닝 인 시범 시퀀스에 조건부로 설정된 잠재 코드를 사용하는 조건부 정책 네트워크를 활용하여 개인의 주행 스타일을 모델링한다.
• 전문가와 전문가 모의 행동 간 분포 간 격차를 최소화하기 위해, 신뢰 영역 정책 최적화(TRPO)를 사용하여 정책을 적대적 모의 학습 방식으로 엔드 투 엔드로 훈련한다.
• 상태 표현으로 LIDAR 및 도로 특징 입력을 활용하며, 2층의 MLP 정책 헤드와 2층의 LSTM 인코더를 사용해 잠재 코드 추론을 수행한다.

실험 결과

연구 질문

• RQ1 GAIL은 고속도로 주행 시나리오에서 다중 에이전트 상호작용을 효과적으로 확장할 수 있는가?
• RQ2 명시적 보상 설계 없이도 도메인 특화 주행 규칙(예: 차선 유지, 안전 거리)을 모의 학습에 통합할 수 있는가?
• RQ3 인간 주행 행동의 잠재적 변동성(예: 개인의 주행 스타일)을 표현 학습을 통해 어느 정도 분리하고 모델링할 수 있는가?
• RQ4 PS-GAIL, RAIL, 및 Burn-InfoGAIL의 조합이 궤적 모의 정확도 향상과 함께 현실적인 교통 흐름 패턴을 유도하는가?

주요 결과

• Burn-InfoGAIL는 1000회의 롤아웃 전반에서 속도 및 위치 예측에 대해 가장 낮은 제곱근 평균 제곱오차(RMSE)를 기록했으며, 장기 주행에서 모든 기준 모델을 압도했다.
• GAIL 단독으로는 모드 탐색 행동을 보이며, 약 10초가 지나자 평균 정책으로 이격되어 스타일 특화 행동을 상실했다.
• VAE 기준 모델은 잠재 코드 조건부 설정 덕분에 짧은 시간 동안의 스타일 충실도를 유지했지만, 누적 오차로 인해 도로 외부로 벗어나는 궤적을 보였다.
• RAIL은 보상 신호에 도메인 지식을 통합함으로써 정책 행동을 향상시켰으며, 더 현실적인 차선 유지 및 따라가기 행동을 유도했다.
• PS-GAIL는 협동 다중 에이전트 행동을 성공적으로 모델링하여, 고밀도 교통 상황에서 차선 변경 및 차량 따라하기와 같은 현실적인 상호작용을 가능하게 했다.
• PS-GAIL, RAIL, 및 Burn-InfoGAIL의 조합은 실제 NGSIM 데이터와 유사한 현실적인 교통 흐름 패턴을 유도하는 잠재적 동적 패턴을 생성했다.