[논문 리뷰] BEVFormer v2: Adapting Modern Image Backbones to Bird's-Eye-View Recognition via Perspective Supervision

Chenyu Yang, Yuntao Chen외 10명|arXiv (Cornell University)|2022. 11. 18.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

BEVFormer v2는 이중 헤드 검출 프레임워크를 통해 시점 감독을 도입하여 현대적인 2D 이미지 백본이 조망도(鳥瞰図, BEV) 3D 객체 검출에서 최신 기술 수준(SoTA) 성능을 달성하도록 한다. BEV 헤드와 함께 보조 손실을 사용해 시점 3D 검출 헤드를 훈련시킴으로써 모델은 수렴 속도를 높이고 일반화 성능을 향상시키며, ConvNeXt-XL과 같은 대규모 사전 훈련된 백본을 사용해 nuScenes에서 63.4% NDS를 달성한다.

ABSTRACT

We present a novel bird's-eye-view (BEV) detector with perspective supervision, which converges faster and better suits modern image backbones. Existing state-of-the-art BEV detectors are often tied to certain depth pre-trained backbones like VoVNet, hindering the synergy between booming image backbones and BEV detectors. To address this limitation, we prioritize easing the optimization of BEV detectors by introducing perspective space supervision. To this end, we propose a two-stage BEV detector, where proposals from the perspective head are fed into the bird's-eye-view head for final predictions. To evaluate the effectiveness of our model, we conduct extensive ablation studies focusing on the form of supervision and the generality of the proposed detector. The proposed method is verified with a wide spectrum of traditional and modern image backbones and achieves new SoTA results on the large-scale nuScenes dataset. The code shall be released soon.

연구 동기 및 목표

• 도메인 갭과 복잡한 모델 아키텍처로 인해 현대적인 2D 이미지 백본이 BEV 검출에 잘 적응하지 못하는 문제를 해결하기 위해.
• 일반적인 이미지 백본의 효과적 미세조정을 방해하는 BEV 검출기의 최적화 과제를 극복하기 위해.
• 대규모 사전 훈련된 이미지 백본—예를 들어 ConvNeXt와 Swin Transformer—을 BEV 검출 프레임워크 내에서 사용할 수 있도록 하기 위해.
• 고품질의 시점 뷰 제안을 활용하는 두 단계의 BEV 검출기 개발을 위해.

제안 방법

• 직접적인 보조 검출 손실을 통해 이미지 백본을 시점 3D 검출 헤드로 직접 감독함으로써 3D 인식을 위한 특징 학습을 향상시킨다.
• 시점 헤드의 객체 제안을 BEV 헤드의 입력으로 사용하며, 여기서는 학습 가능한 쿼리와 함께 하이브리드 객체 쿼리로 인코딩된다.
• BEV 손실과 시점 손실을 조합한 다중 작업 손실을 사용해 시점 헤드와 BEV 헤드를 함께 훈련시켜 최적화를 안정화시킨다.
• 두 단계 검출 파이프라인을 적용: 첫 번째 단계에서 시점 헤드로부터의 제안을 두 번째 단계의 BEV 헤드에서 최종 예측을 위해 정밀화한다.
• 더 긴 시간 간격(2초)을 가진 이중 방향 시간 인코딩을 적용해 운동 및 방향 추정 성능을 향상시킨다.
• 이미지 특징에 대해 강력하고 직접적인 감독을 보장하기 위해, DD3D와 같은 밀도적이고 앵커 기반 예측 헤드를 시점 헤드에 적용한다.

실험 결과

연구 질문

• RQ1 시점 감독이 BEV 검출에서 현대적인 2D 이미지 백본의 최적화와 적응에 크게 기여할 수 있는가?
• RQ2 시점 제안을 통합한 두 단계 검출 파이프라인의 통합이 BEV 검출 성능에 어떤 영향을 미치는가?
• RQ3 보조 시점 손실이 BEV 전용 감독보다 수렴 속도가 빠르고 일반화 성능이 뛰어나게 하는가?
• RQ4 대규모 사전 훈련된 이미지 백본—예를 들어 ConvNeXt-XL—이 BEV 검출에서 기존의 깊이 사전 훈련된 백본—예를 들어 VoVNet—보다 얼마나 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 시간 인코딩 및 데이터 증강과 같은 아키텍처 선택이 최종 검출 성능에 어떤 영향을 미치는가?

주요 결과

• 시점 감독 덕분에 대규모 ImageNet 사전 훈련 백본인 ConvNeXt-XL이 더 작은 DDAD-15M 사전 훈련 백본인 VoVNet-99를 능가하며, nuScenes에서 63.4% NDS를 달성한다.
• 시점 감독이 있는 모델은 더 긴 훈련 스케줄조차도 BEV 전용 훈련보다 더 빠르게 수렴하고 높은 성능에 도달한다.
• 하이브리드 객체 쿼리를 사용하는 두 단계의 BEVFormer v2 프레임워크는 특히 방향성 및 소형 객체 검출 정확도를 향상시킨다.
• 2초 간격의 이중 방향 시간 인코딩은 운동 및 방향 추정 성능을 향상시켜 mAOE를 감소시킨다.
• 시점 감독은 NDS에 2.2% 향상 기여하고 mAP에 2.6% 기여하여 성능 향상에서 주도적인 역할을 한다.
• 이 방법은 기존 및 현대 아키텍처를 포함한 다양한 백본에서 일반화 가능하며, 광범위한 적용 가능성을 확인한다.