[논문 리뷰] PersFormer: 3D Lane Detection via Perspective Transformer and the OpenLane Benchmark

Li Chen, Chonghao Sima외 9명|arXiv (Cornell University)|2022. 03. 21.

Autonomous Vehicle Technology and Safety인용 수 4

한 줄 요약

PersFormer는 카메라 파라미터를 기준으로 전방 시야 지역에 주의를 기울이는 새로운 트랜스포머 기반 공간 특징 변환 모듈을 사용하여 종단 간 단안 3D 레인 검출 모델을 제안한다. 이는 정확한 BEV 특징 생성을 가능하게 하며, 새로 공개된 OpenLane 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 2D/3D 앵커 설계의 통합과 다중 작업 학습을 통해 기존 방법보다 뛰어난 3D 성능을 유지하면서도 2D 성능도 우수하게 유지한다.

ABSTRACT

Methods for 3D lane detection have been recently proposed to address the issue of inaccurate lane layouts in many autonomous driving scenarios (uphill/downhill, bump, etc.). Previous work struggled in complex cases due to their simple designs of the spatial transformation between front view and bird's eye view (BEV) and the lack of a realistic dataset. Towards these issues, we present PersFormer: an end-to-end monocular 3D lane detector with a novel Transformer-based spatial feature transformation module. Our model generates BEV features by attending to related front-view local regions with camera parameters as a reference. PersFormer adopts a unified 2D/3D anchor design and an auxiliary task to detect 2D/3D lanes simultaneously, enhancing the feature consistency and sharing the benefits of multi-task learning. Moreover, we release one of the first large-scale real-world 3D lane datasets: OpenLane, with high-quality annotation and scenario diversity. OpenLane contains 200,000 frames, over 880,000 instance-level lanes, 14 lane categories, along with scene tags and the closed-in-path object annotations to encourage the development of lane detection and more industrial-related autonomous driving methods. We show that PersFormer significantly outperforms competitive baselines in the 3D lane detection task on our new OpenLane dataset as well as Apollo 3D Lane Synthetic dataset, and is also on par with state-of-the-art algorithms in the 2D task on OpenLane. The project page is available at https://github.com/OpenPerceptionX/PersFormer_3DLane and OpenLane dataset is provided at https://github.com/OpenPerceptionX/OpenLane.

연구 동기 및 목표

• 기존 3D 레인 검출 방법이 단순한 전방에서 BEV로의 특징 변환에 의존하고, 현실적이고 대규모의 훈련 데이터가 부족한 점을 해결하기 위해.
• 시야 간의 상호작용을 캡처하는 학습 가능한 주의 기반 프로세스로 공간 변환을 모델링하여 BEV 특징 표현을 향상시키기 위해.
• 공통 아키텍처와 보조 작업을 통해 2D 및 3D 레인 검출을 통합하여 특징 일관성과 다중 작업 학습의 이점을 향상시키기 위해.
• 산업용 자율주행 연구를 지원하기 위해 20만 프레임, 88만 개의 레인 인스턴스, 14개의 카테고리, 시나리오 수준의 레이블을 포함한 대규모 실세계 3D 레인 데이터셋인 OpenLane을 공개하기 위해.

제안 방법

• 전방 시야에서 베이비 익스프레션 시각(BEV)으로의 공간 특징 변환을 학습하기 위해 탄성 자기 및 크로스 주의 메커니즘을 사용하는 시perspective Transformer (PersFormer) 모듈을 제안한다. 카메라 파라미터를 기준으로 한다.
• 단일 헤드 내에서 2D 및 3D 레인 검출을 동시에 가능하게 하는 통합된 2D/3D 앵커 설계를 도입하여 특징 공유와 일관성을 증진시킨다.
• BEV 특징에 대한 명시적 감독을 제공하기 위해 보조 이진 세그멘테이션 헤드를 활용하여 특징 품질 향상과 검출의 강인성을 향상시킨다.
• 학습 가능한 주의 메커니즘을 통해 전방 시야 특징 맵의 관련 지역에 동적으로 주의를 기울여, BEV 표현을 위한 맥락 인식 특징을 집계한다.
• 학습 가능한 쿼리와 키를 통한 미분 가능 공간 변환을 적용하여, BEV 특징 생성 중에 주목할 만한 특징에 적응적으로 집중할 수 있도록 한다.
• 고품질 인스턴스 수준의 레이블, 시나리오 태그, 닫힌 경로 객체 레이블을 포함한 대규모 실세계 3D 레인 데이터셋인 OpenLane을 공개한다.

실험 결과

연구 질문

• RQ1 학습 가능한 주의 기반 공간 변환 모듈이 기존의 역perspective 매핑(IPM)보다 BEV 특징 생성에 있어 3D 레인 검출에서 더 나은 성능을 내는가?
• RQ2 통합된 앵커 설계를 통한 2D/3D 레인 검출이 별도의 2D 및 3D 헤드에 비해 특징 일관성과 검출 정확도를 향상시키는가?
• RQ3 보조 세그멘테이션 헤드를 통한 명시적 BEV 감독이 3D 레인 검출 성능에 얼마나 기여하는가?
• RQ4 제안된 방법이 오르막/내리막 및 복잡한 도로 구조를 포함한 다양한 실세계 주행 시나리오에 대해 얼마나 일반화되는가?
• RQ5 OpenLane처럼 대규모 실세계 3D 레인 데이터셋이 산업용 수준의 3D 레인 검출 모델 개발 및 벤치마크에 효과적으로 기여하는가?

주요 결과

• PersFormer는 Apollo 3D Lane Synthetic 데이터셋의 균형 잡힌 시나리오에서 92.9%의 F-Score를 기록하여 3D-LaneNet 및 Gen-LaneNet과 같은 기존 방법을 모두 능가한다.
• Apollo 3D Lane Synthetic의 희귀 시나리오 서브셋에서 PersFormer는 87.5%의 F-Score를 기록하여 이전 최고 성능 방법인 CLGo(86.1%)를 1.4%p 뛰어넘었다.
• OpenLane 벤치마크에서 PersFormer는 300세그먼트 서브셋에서 3D F-Score 47.79%를 기록하여 완전한 분석 설정을 사용할 경우 기준 모델 대비 6.02% 향상된 성능을 보였다.
• 절단 분석 결과, 통합 앵커, 다중 작업 학습, 그리고 PersFormer의 조합은 기준 3D 검출 대비 4.9% 향상되었으며, 보조 세그멘테이션 헤드 덕분에 추가로 1.13% 향상되었다.
• PersFormer는 기준 모델 대비 OpenLane에서 2D 레인 검출 F-Score를 9.7% 향상시켰다. 이는 향상된 BEV 특징이 2D 작업에도 유익함을 보여준다.
• 정성 있는 결과 분석에서 PersFormer는 미세한 인프런트 레인과 오르막/내리막 상황에서 평행한 토폴로지 유지에 성공했으며, 경쟁 방법들은 평면 가정에 기반해 실패함을 확인했다.