[논문 리뷰] Learning to Drive Anywhere

Ruizhao Zhu, Peng Huang외 2명|arXiv (Cornell University)|2023. 09. 21.

Traffic Prediction and Management TechniquesEngineering인용 수 3

한 줄 요약

이 논문은 중간 이미지 수준의 히트맵이나 소프트-아르그맥스 연산 없이 직접 BEV(조감도) 웨이포인트를 회귀하는 지리적 인지 기반(end-to-end) 이미지에서 BEV로의 궤적 예측 모델인 AnyD를 제안한다. 도시 수준의 임베딩을 활용한 지역 채널 주의 모듈을 통합함으로써 AnyD는 다중 도시 벤치마크에서 1.93 FDE를 달성하고, 광저우와 같은 미사전 도시에도 효과적으로 일반화되며, CARLA에서의 오픈 루프 및 클로즈드 루프 평가 모두에서 비지리적 인지 기반 기준 모델을 능가한다.

ABSTRACT

Human drivers can seamlessly adapt their driving decisions across geographical locations with diverse conditions and rules of the road, e.g., left vs. right-hand traffic. In contrast, existing models for autonomous driving have been thus far only deployed within restricted operational domains, i.e., without accounting for varying driving behaviors across locations or model scalability. In this work, we propose AnyD, a single geographically-aware conditional imitation learning (CIL) model that can efficiently learn from heterogeneous and globally distributed data with dynamic environmental, traffic, and social characteristics. Our key insight is to introduce a high-capacity geo-location-based channel attention mechanism that effectively adapts to local nuances while also flexibly modeling similarities among regions in a data-driven manner. By optimizing a contrastive imitation objective, our proposed approach can efficiently scale across inherently imbalanced data distributions and location-dependent events. We demonstrate the benefits of our AnyD agent across multiple datasets, cities, and scalable deployment paradigms, i.e., centralized, semi-supervised, and distributed agent training. Specifically, AnyD outperforms CIL baselines by over 14% in open-loop evaluation and 30% in closed-loop testing on CARLA.

연구 동기 및 목표

• 다양한 교통 규칙, 인프라 및 운전 행동을 가진 다양한 도시 환경에서 일반화되는 종단 간 주행 에이전트를 훈련시키는 과제를 해결한다.
• 이전의 이미지에서 BEV로의 계획 모델이 중간 단계의 히트맵 회귀 및 소프트-아르그맥스에 의존함으로써 특징 매핑의 표현력을 제한하는 한계를 극복한다.
• 지리적 조건부 특징 조절을 통해 지역적 운전 특성을 명시적으로 모델링하여 새로운 도시에 대한 제로샷 및 피처샷 적응 능력을 향상시킨다.
• 오픈 루프 궤적 예측과 클로즈드 루프 시뮬레이션(CARLA) 모두에서 강력한 성능을 보이며, 성공률 향상과 위반 행위 감소를 입증한다.

제안 방법

• 이미지 및 속도 특징에서 직접 BEV 웨이포인트를 회귀하는 단순화된 네트워크 아키텍처를 제안하여 업샘플링 및 히트맵 생성 단계를 제거한다.
• 도시 수준의 임베딩(지리적 조건부 모듈)을 사용해 특징 맵을 조절하는 지역 채널 주의 모듈을 도입함으로써 영역 인식 특징 학습을 가능하게 한다.
• ImageNet에서 미리 훈련된 ResNet-34 백본을 사용하며, 입력 이미지를 400×225로 리사이징하고, 최종 완전 연결 레이어 이전에 3×3 컨볼루션을 통해 이미지 및 속도 특징을 융합한다.
• GPS 및 LiDAR 자동차 자세에서 유도된 표준화된 BEV 웨이포인트 애너테이션을 가진 다중 도시 데이터셋(Argument 2, nuScenes, Waymo)을 활용한다.
• 감독 및 준감독 학습의 조합을 사용하여 훈련: AnyD를 사용해 11개 도시의 유튜브 영상에 대해 편제라벨링을 수행한 후 혼합 데이터로 미세조정한다.
• 정확한 GPS가 없는 경우에도 OSM GPS 트레이스에 K-means 클러스터링을 적용해 도시의 하위 영역을 정의함으로써 지리적 조건부 감독을 실현한다.

실험 결과

연구 질문

• RQ1 명시적인 도메인 적응 없이도 다양한 도시 환경(다른 교통 규칙 및 인프라를 가짐)에서 일반화되는 단일 종단 간 모델이 가능한가?
• RQ2 중간 단계의 이미지 수준 히트맵과 소프트-아르그맥스를 제거함으로써 BEV 웨이포인트 예측 성능과 일반화 능력이 향상되는가?
• RQ3 지리적 조건부 특징 조절은 도메인 갭이 존재하는 새로운 도시에 대한 제로샷 및 피처샷 적응 능력에 얼마나 기여하는가?
• RQ4 특히 좌측 주행 또는 속도 제한 변화와 같은 지역적 운전 행동을 다룰 때, 클로즈드 루프 시뮬레이션에서 모델의 성능은 어떠한가?

주요 결과

• 중간 히트맵 없이 제안된 아키텍처를 적용함으로써 FDE가 2.45에서 2.17로 감소하여 12.9% 향상되었으며, 파rameter 수 증가도 최소한(2380만 vs. 2410만).
• 세 개의 어댑터를 갖는 지리적 조건부 모듈을 통합함으로써 FDE는 1.93으로 추가로 감소하여, 제안된 손실 함수를 사용한 기준 모델 대비 11.1% 향상.
• CARLA에서 AnyD는 클로즈드 루프 지표를 향상시켰다: 주행 점수는 0.36에서 0.50으로 상승(상대적 향상 38.9%), 성공률은 29%에서 36%로, 루트 완료율은 50%에서 69%로 향상.
• 중국 광저우에서 미세조정한 결과, 기존에 본 도시에서는 성능이 유지(1.05 → 1.04 FDE)되었고, 새로운 도시인 광저주에서는 0.84 FDE를 기록하여 비지리적 인지 기반 기준 모델(1.33 FDE)을 능가했다.
• 정성적 결과에서는 특히 주행 방향성 및 속도 제한이 다른 지역에서 복잡한 주행 동작(합류, 전환 등)에 더 잘 일반화됨을 보였다.
• 실패 사례는 주로 희귀하거나 농도가 높은 교통 행동에서 기인하여 극단적 또는 드문 시나리오에서의 강건성에 한계가 있음을 시사한다.