[논문 리뷰] Towards Optimal Strategies for Training Self-Driving Perception Models in Simulation

David Acuna, Jonah Philion외 1명|arXiv (Cornell University)|2021. 11. 15.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 CARLA와 같은 합성 주행 시뮬레이션에서 실제 주행 인식 작업으로의 전이 성능을 향상시키기 위해 도메인 갭을 최소화하는 불변 표현 학습과 체계적인 데이터 샘플링을 통해 도메인 적응 프레임워크를 제안한다. 유일한 합성 레이블만을 사용하여 nuScenes에서 조망도 기반 차량 세그멘테이션 작업에서 최신 기술 성능을 달성하며, 기상 조건과 지도 설계와 같은 핵심 변형 요소들이 적응을 통해 보완될 수 있음을 보여주어 시뮬레이터의 정밀도를 완전히 높일 필요성을 줄인다.

ABSTRACT

Autonomous driving relies on a huge volume of real-world data to be labeled to high precision. Alternative solutions seek to exploit driving simulators that can generate large amounts of labeled data with a plethora of content variations. However, the domain gap between the synthetic and real data remains, raising the following important question: What are the best ways to utilize a self-driving simulator for perception tasks? In this work, we build on top of recent advances in domain-adaptation theory, and from this perspective, propose ways to minimize the reality gap. We primarily focus on the use of labels in the synthetic domain alone. Our approach introduces both a principled way to learn neural-invariant representations and a theoretically inspired view on how to sample the data from the simulator. Our method is easy to implement in practice as it is agnostic of the network architecture and the choice of the simulator. We showcase our approach on the bird's-eye-view vehicle segmentation task with multi-sensor data (cameras, lidar) using an open-source simulator (CARLA), and evaluate the entire framework on a real-world dataset (nuScenes). Last but not least, we show what types of variations (e.g. weather conditions, number of assets, map design, and color diversity) matter to perception networks when trained with driving simulators, and which ones can be compensated for with our domain adaptation technique.

연구 동기 및 목표

• 자율 주행 인식에서 합성 시뮬레이션 데이터와 실제 주행 데이터 사이의 현실 격차를 해결하기 위해.
• 실제 주행 레이블이 필요 없이 도메인 이탈을 최소화하는 시뮬레이션 전략을 개발하기 위해.
• 기후 조건, 자산, 후처리 처리와 같은 시뮬레이터 변형 요소 중에서 모델 일반화에 가장 중요한 요소를 특정하기 위해.
• 모듈식이며 시뮬레이터에 종속되지 않으며 다양한 센서 모odalities(카메라, LiDATOR)에 효과적인 방법을 설계하기 위해.
• 도메인 적응 기법이 누락되거나 단순화된 시뮬레이션 요소를 효과적으로 보완할 수 있는지 평가하기 위해.

제안 방법

• 일반화 경계를 활용하여 시뮬레이션에서 현실로의 전이 문제를 도메인 적응 문제로 공식화하고, 데이터 샘플링을 이끌기 위한 이론적 기반을 제공한다.
• 원천 도메인과 타겟 도메인의 레이블 마진 간 거리를 최소화하여 도메인 이탈을 줄이는 방법을 제안한다.
• f-DAL 방법을 피어슨 χ² 차이 최소화를 통한 적대적 도메인 적응을 활용해 밀도 예측 작업에 적용한다.
• 도메인 적대적 훈련과 허위 레이블링을 조합하여 특징 정렬과 예측 일관성을 향상시킨다.
• 분포 이탈을 최소화하면서도 장면 콘텐츠의 다양성을 우선시하는 시뮬레이터에 종속되지 않는 샘플링 전략을 적용한다.
• 조망도 기반 세그멘테이션을 위해 Lift-Splat-Transform 백본을 사용하며, 도메인 적응을 통한 엔드 투 엔드 합성 데이터 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 기후 조건, 차량 자산, 지도 설계와 같은 시뮬레이션 변형 요소 중에서 실제 주행 모델 일반화에 가장 중요한 요소는 무엇인가?
• RQ2 도메인 적응 기법이 누락되거나 단순화된 시뮬레이션 요소를 효과적으로 보완할 수 있는가?
• RQ3 이론적으로 탄탄한 방식으로 시뮬레이터에서 도메인 갭을 최소화하기 위해 데이터를 어떻게 샘플링할 수 있는가?
• RQ4 합성 레이블만을 사용할 경우 도메인 적응이 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 방법이 다양한 센서 모달리티(예: 카메라 대비 LiDAR) 간에 일반화되는가?

주요 결과

• 제안된 방법인 Lift-Splat-Adapt는 CARLA의 합성 데이터만을 사용하여 nuScenes의 조망도 기반 차량 세그멘테이션 벤치마크에서 최신 기술 성능을 달성한다.
• CARLA에서 '맑은 날씨' 설정만을 사용할 경우에도 성능이 뛰어나며, NPC를 고정된 사전 확률에서 샘플링할 경우 다양한 날씨 설정을 사용한 경우보다도 뛰어난 성능을 보인다.
• 차량 자산의 다양성이 낮아도 성능 유지가 가능하여, 단 한 개의 차량 자산만으로도 높은 성능을 유지한다.
• CARLA의 카메라 후처리 효과(예: 비그넷, 블룸)는 도메인 적응을 통해 대부분 보완될 수 있어 현실적인 렌더링의 필요성을 줄일 수 있다.
• 모델은 다양한 센서 모달리티 간에 잘 일반화되며, 카메라 기반 및 LiDAR 기반 인식 작업 모두에서 효과적이다.
• 한계점으로는 CARLA의 자산 라이브러리와 크게 다른 차량을 탐지하지 못하거나, 다리와 자전거 사이의 비논리적 연관성 등 임의의 상관관계로 인한 잘못된 예측이 발생할 수 있다.