[논문 리뷰] CARLANE Benchmark

Julian Gebele, Bonifaz Stuhr외 1명|arXiv (Cornell University)|2022. 06. 16.

Domain Adaptation and Few-Shot Learning인용 수 2

한 줄 요약

CARLANE는 2차원 차선 검출을 위한 3방향 시뮬레이션-진짜 세계 비지도 도메인 적응 벤치마크를 소개하며, MoLane, TuLane, MuLane 데이터셋을 포함하여 시뮬레이션과 두 개의 실제 도메인을 아우릅니다. 이는 단일 및 다중 대상 도메인 적응을 가능하게 하며, SGPCS를 사용한 최신 기준 성능을 수립하고, 비지도 학습 방법이 완전 지도 학습 모델에 비해 높은 가짜 양성 및 가짜 음성 비율을 보이는 것을 드러내어 이 분야에서 향상된 벤치마크가 필요하다는 점을 강조합니다.

ABSTRACT

Unsupervised Domain Adaptation demonstrates great potential to mitigate domain shifts by transferring models from labeled source domains to unlabeled target domains. While Unsupervised Domain Adaptation has been applied to a wide variety of complex vision tasks, only few works focus on lane detection for autonomous driving. This can be attributed to the lack of publicly available datasets. To facilitate research in these directions, we propose CARLANE, a 3-way sim-to-real domain adaptation benchmark for 2D lane detection. CARLANE encompasses the single-target datasets MoLane and TuLane and the multi-target dataset MuLane. These datasets are built from three different domains, which cover diverse scenes and contain a total of 163K unique images, 118K of which are annotated. In addition we evaluate and report systematic baselines, including our own method, which builds upon Prototypical Cross-domain Self-supervised Learning. We find that false positive and false negative rates of the evaluated domain adaptation methods are high compared to those of fully supervised baselines. This affirms the need for benchmarks such as CARLANE to further strengthen research in Unsupervised Domain Adaptation for lane detection. CARLANE, all evaluated models and the corresponding implementations are publicly available at https://carlanebenchmark.github.io.

연구 동기 및 목표

• 비지도 도메인 적응(Ubiquitous Domain Adaptation, UDA)을 위한 공개 벤치마크 부족 문제를 해결하기 위해.
• 다양한 실제 도메인 주행 환경을 활용해 시뮬레이션-진짜 세계 벤치마크를 구축함으로써 단일 및 다중 대상 UDA를 가능하게 하기 위해.
• 공개 가능한 데이터셋, CARLA 기반의 웨이포인트 에이전트, 실제 이미지 주석 처리를 위한 맞춤형 레이블링 툴을 제공하기 위해.
• UDA를 위한 체계적인 기준 성능 평가 및 수립을 위해, 새로운 방법인 SGPCS를 포함하여.
• UDA와 완전 지도 학습 모델 간의 성능 격차를 부각시키며, 더 강력한 벤치마크가 필요하다는 점을 강조하기 위해.

제안 방법

• 원천 도메인은 CARLA 시뮬레이터에서 구성 가능한 웨이포인트 기반 에이전트를 사용해 생성되며, MoLane에 대해 8만 장, TuLane에 대해 2만 4천 장의 이미지를 수집합니다.
• 대상 도메인은 실제 도메인 데이터셋으로 구성되며, MoLane는 1/8 크기의 차량 트랙에서 수집한 4만 4천 장의 비라벨링 이미지를 사용하고, TuLane는 TuSimple의 미국 고속도로 데이터셋에서 3,268장의 이미지를 사용합니다.
• MuLane는 MoLane와 TuLane의 데이터를 통합하여 균형 잡힌 합성 및 실제 도메인 이미지를 포함하는 다중 대상 UDA 벤치마크를 구성합니다.
• 일반화 성능 향상과 도메인 간 차이 감소를 위해 도메인 랜덤라이제이션과 데이터 균형 조정 기법을 적용합니다.
• 실제 도메인의 2,000장의 검증 이미지와 1,000장의 테스트 이미지를 주석 처리하기 위해 맞춤형 레이블링 툴을 사용합니다.
• 제안된 SGPCS 방법은 프로토타입 기반 교차 도메인 자기지도 학습에 가짜 레이블링을 통합하여 최신 기준 성능을 달성합니다.

실험 결과

연구 질문

• RQ1 기존의 UDA 방법들은 시뮬레이션에서 여러 실제 도메인으로 차선 검출 모델을 전이시키는 데 얼마나 효과적인가?
• RQ2 비지도 도메인 적응과 완전 지도 학습 기준 성능 간의 성능 격차는 무엇인가?
• RQ3 MoLane와 같은 다중 대상 UDA 벤치마크는 다양한 실제 도메인 주행 환경에서의 도메인 일반화에 대해 새로운 통찰을 제공할 수 있는가?
• RQ4 제안된 SGPCS 방법은 DANN, ADDA, SGADA와 같은 대비적 UDA 방법과 비교해 시뮬레이션-진짜 세계 차선 검출에서 어떻게 성능을 내는가?
• RQ5 도메인 랜덤라이제이션과 데이터 균형 조정은 실제 도메인 차선 검출 작업에서 UDA 성능 향상에 얼마나 기여하는가?

주요 결과

• CARLANE에서의 UDA 방법들은 높은 가짜 양성 및 가짜 음성 비율을 보이며, 완전 지도 학습 기준 성능에 비해 뚜렷이 열등하다고 나타났다.
• 제안된 SGPCS 방법은 CARLANE 벤치마크에서 최신 기준 성능을 달성하며, 가짜 레이블링이 교차 도메인 자기지도 학습에서 효과적임을 입증한다.
• UDA와 완전 지도 학습 모델 간의 성능 격차는 여전히 크며, 이는 시뮬레이션-진짜 세계 차선 검출에서 도메인 간 차이가 여전히 주요 과제임을 시사한다.
• 다중 대상 벤치마크인 MuLane는 다양한 실제 도메인 주행 환경에서의 도메인 일반화 분석을 가능하게 한다.
• 벤치마크는 도메인 랜덤라이제이션과 데이터 균형 조정을 적용한 후에도 도메인 간 차이가 차선 검출 성능에 심각한 영향을 미친다는 점을 드러냈다.
• 모든 데이터셋, 모델, 코드는 https://carlanebenchmark.github.io 에 공개되어 있어 재현성과 향후 연구를 지원한다.