[논문 리뷰] BEV-Seg: Bird's Eye View Semantic Segmentation Using Geometry and Semantic Point Cloud

Mong H. Ng, Kaahan Radia외 4명|arXiv (Cornell University)|2020. 06. 19.

Advanced Neural Network Applications참고 문헌 30인용 수 37

한 줄 요약

BEV-Seg는 단일 카메라 깊이와 의미론적 분할을 사용해 의미 점 구름을 구축하고 이를 BEV로 투사해 최종 분할을 수행하는 2단계 파이프라인을 도입하여 최첨단 결과와 더 나은 전이성을 달성한다.

ABSTRACT

Bird's-eye-view (BEV) is a powerful and widely adopted representation for road scenes that captures surrounding objects and their spatial locations, along with overall context in the scene. In this work, we focus on bird's eye semantic segmentation, a task that predicts pixel-wise semantic segmentation in BEV from side RGB images. This task is made possible by simulators such as Carla, which allow for cheap data collection, arbitrary camera placements, and supervision in ways otherwise not possible in the real world. There are two main challenges to this task: the view transformation from side view to bird's eye view, as well as transfer learning to unseen domains. Existing work transforms between views through fully connected layers and transfer learns via GANs. This suffers from a lack of depth reasoning and performance degradation across domains. Our novel 2-staged perception pipeline explicitly predicts pixel depths and combines them with pixel semantics in an efficient manner, allowing the model to leverage depth information to infer objects' spatial locations in the BEV. In addition, we transfer learning by abstracting high-level geometric features and predicting an intermediate representation that is common across different domains. We publish a new dataset called BEVSEG-Carla and show that our approach improves state-of-the-art by 24% mIoU and performs well when transferred to a new domain.

연구 동기 및 목표

• LiDAR 없이 RGB 카메라로부터 강건한 BEV 의미론적 분할을 촉진한다.
• 명시적 깊이 추론과 기하학을 활용하여 측면 뷰를 BEV로 변환한다.
• 공통 중간 표현을 추상화하여 도메인 간 전이 학습을 개선한다.
• 다양한 날씨와 환경을 포함하는 CARLA 기반 데이터셋을 제공한다.
• 최첨단 성능 및 이전 방법에 대한 전이 이득을 입증한다.

제안 방법

• 두 단계 파이프라인: 1단계는 핀홀 카메라 기하학을 이용해 여러 뷰의 측면 뷰 의미 맵과 단일 카메라 깊이를 융합하여 의미 점 구름을 생성한다.
• 의미 점 구름을 높이 기반 충돌 해결로 직교 투영을 통해 불완전한 BEV로 투사한다.
• 2단계는 파서 네트워크를 사용하여 불완전한 BEV를 확장된 원-핫 표현으로 전체 BEV 의미 분할로 변환한다.
• 깊이 및 분할 모듈은 측면 뷰의 실제 값(깊이는 LiDAR 프로젝션에서, 분할 레이블)로 학습된다.
• 단계 2는 도메인 간 전이 가능성을 높이기 위해 공통 중간 표현에서 작동한다.

실험 결과

연구 질문

• RQ1 명시적 깊이 추론과 기하학적 투영이 RGB 이미지로부터 BEV 의미 분할을 향상시킬 수 있는가?
• RQ2 모듈식 2단계 파이프라인이 엔드투엔드 방법과 비교하여 서로 다른 CARLA 환경 간 전이 학습을 향상시키는가?
• RQ3 중간 표현의 사용이 BEV 분할 품질 및 도메인 전이에 어떤 영향을 미치는가?
• RQ4 BEV-Seg가 최근 발표된 BEV 데이터셋(BEVSEG-Carla)에서 기존 방법에 비해 어떤 성능을 보이는가?

주요 결과

모델	소스 도메인 mIoU	전이 학습 후 타깃 도메인 mIoU
VPN	36.4%	27.8%
ours (BEV-Seg full)	60.4%	44.5%
ours - Segmentation Oracle	60.8%	-
ours - Depth Oracle	66.5%	-
ours - Depth & Segmentation Oracle	67.3%	-

• BEV-Seg는 소스 도메인에서 VPN 기초 대비 mIoU를 36.4%에서 60.4%로 향상시켰다.
• 정오에서 맑은 상태에서 젖은 석양으로의 전이에서 BEV-Seg는 44.5% mIoU, VPN 기초는 27.8%이다.
• 클래스별 IoU에서 BEV-Seg는 보행자, 차선, 차선 도로 선, 표지판 및 더 작은 객체를 VPN보다 더 잘 포착한다.
• 오라클 변형(지면 참 깊이/분할)에서 깊이 및 분할 정확도가 피크 BEV 성능에 중요하며, 깊이 오라클은 66.5%, 깊이+분할 오라클은 67.3%에 도달한다.
• 모듈식 중간 표현은 도메인 간 차이를 크게 줄여 2단계 재학습 없이도 효과적인 전이를 가능하게 한다.