[논문 리뷰] TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors

Simon Su, Sebastian Regalado외 2명|arXiv (Cornell University)|2021. 01. 17.

Traffic control and management참고 문헌 37인용 수 4

한 줄 요약

TrafficSim는 실세계 주행 데이터에서 학습하여 다양한 사회적으로 일관된 교통 행동을 생성하는 가분산 잠재변수 기반 다중 에이전트 운동 정책을 제안한다. 학습 중 정책을 전개하고 시간 적응형 다중 작업 손실을 통해 완전히 가분산 시뮬레이션을 최적화함으로써, 기존 기준 대비 10%의 충돌률 감소와 함께 최신 기술 수준의 현실성 구현을 달성하여 운동 계획가의 효과적인 데이터 증강을 가능하게 한다.

ABSTRACT

Simulation has the potential to massively scale evaluation of self-driving systems enabling rapid development as well as safe deployment. To close the gap between simulation and the real world, we need to simulate realistic multi-agent behaviors. Existing simulation environments rely on heuristic-based models that directly encode traffic rules, which cannot capture irregular maneuvers (e.g., nudging, U-turns) and complex interactions (e.g., yielding, merging). In contrast, we leverage real-world data to learn directly from human demonstration and thus capture a more diverse set of actor behaviors. To this end, we propose TrafficSim, a multi-agent behavior model for realistic traffic simulation. In particular, we leverage an implicit latent variable model to parameterize a joint actor policy that generates socially-consistent plans for all actors in the scene jointly. To learn a robust policy amenable for long horizon simulation, we unroll the policy in training and optimize through the fully differentiable simulation across time. Our learning objective incorporates both human demonstrations as well as common sense. We show TrafficSim generates significantly more realistic and diverse traffic scenarios as compared to a diverse set of baselines. Notably, we can exploit trajectories generated by TrafficSim as effective data augmentation for training better motion planner.

연구 동기 및 목표

• 히우리틱 규칙이 아닌 인간 주행 시범 데이터에서 학습함으로써 시뮬레이션된 행동과 실제 교통 행동 간 격차를 해소한다.
• 유턴, 합류, 비정상적인 조작과 같은 복잡한 상호작용을 포함한 다양한 사회적으로 일관된 다중 에이전트 궤적을 생성한다.
• 분포 이탈에 강건하고 최소한의 충돌률을 유지하는 장기 시뮬레이션을 가능하게 한다.
• 자율주행 운동 계획가의 상호작용 시나리오 설계 및 데이터 증강을 지원한다.
• 시간 적응형 손실 함수를 통해 인간 행동 모방과 일반적인 상식 제약 조건 간 균형을 이룬다.

제안 방법

• 모든 에이전트의 계획을 동시에 생성하는 연합 다중 에이전트 정책을 매개변수화하기 위해 암묵적 잠재변수 모델을 사용한다.
• 실제 궤적 시범 데이터를 사용하여 완전히 가분산 시뮬레이션을 통해 역전파를 적용하여 정책을 종단 간 최적화한다.
• 오차 누적을 완화하고 장기 시뮬레이션 일관성을 향상시키기 위해 학습 중 정책을 전개한다.
• 각 시간 단계에서 시범 궤적 모방과 일반적인 교통 규칙 준수 간 균형을 맞추기 위해 시간 적응형 다중 작업 손실을 도입한다.
• 미래의 에이전트 계획을 $T_{\text{plan}}$의 수평선으로 모델링하여 다단계 추론과 효율적인 시뮬레이션을 가능하게 하며 최대 4배의 속도 향상을 달성한다.
• 충돌 회피 및 규칙 준수를 강제하기 위해 레이어 타임 최적화를 위해 거부 샘플링 또는 잠재변수의 기울기 기반 정밀 조정을 지원한다.

Figure 1: Generating realistic multi-agent behaviors is a key component for simulation

실험 결과

연구 질문

• RQ1 실세계 데이터에서 학습한 기계학습 기반 다중 에이전트 운동 정책이 히우리틱 규칙 기반 모델보다 더 현실적이고 다양한 교통 행동을 생성할 수 있는가?
• RQ2 오차 누적이 발생하지 않도록 장기 수평선에서 효과적으로 연합 다중 에이전트 정책을 훈련할 수 있는가?
• RQ3 학습된 시뮬레이터가 생성한 궤적을 통해 데이터 증강을 통해 운동 계획가의 성능 향상에 어느 정도 기여하는가?
• RQ4 다단계 업데이트를 통해 시뮬레이션을 가속화할 수 있는가? 이때 현실성이나 안전성은 희생되지 않는가?
• RQ5 런타임 최적화 기법은 충돌을 줄이는 데 얼마나 효과적인가? 동시에 행동 다양성은 유지되는가?

주요 결과

• TrafficSim는 히우리틱, 운동 예측, 모방 학습 모델을 포함한 모든 기준 대비 가장 낮은 시나리오 재구성 오차를 기록한다.
• TrafficSim가 생성한 시나리오의 충돌률은 10.73%로, 히우리틱 모델(예: IDM의 22.05%)보다 유의미하게 낮고 최신 기술 수준의 모방 학습 모델과 경쟁 수준이다.
• TrafficSim의 합성 데이터로 훈련된 운동 계획가는 평균 L2 오차 4.52m를 기록하여 실세계 데이터로 훈련된 계획자(4.85m)를 초월하고 모든 기준 대비 진행도 지표에서 승리한다.
• 다단계 추론을 통해 $\kappa=4$일 때 최대 4배의 시뮬레이션 런타임 속도 향상을 달성(0.5Hz에서 0.24초)하였고 시나리오 품질에 대한 열악한 영향은 최소한이었다.
• 기울기 기반 정밀 조정을 통한 런타임 최적화로 충돌률을 0.12%로 감소시켰다(비최적화 시 0.50%에서의 기준 대비). 이는 현실적인 궤적 다양성을 유지하면서 이루어졌다.
• 절단 실험 결과, 시뮬레이션을 통한 역전파를 포함한 닫힌 루프 훈련이 장기 수평선 행동 생성에 있어 필수적임을 확인하였다.

Figure 2: Complex human driving behavior observed in the real world: red is actor of interest, green are interacting actors