[논문 리뷰] AutoAlignV2: Deformable Feature Aggregation for Dynamic Multi-Modal 3D Object Detection

Zehui Chen, Zhenyu Li외 4명|arXiv (Cornell University)|2022. 07. 21.

Advanced Neural Network Applications인용 수 20

한 줄 요약

AutoAlignV2는 Cross-Domain DeformCAFA를 도입하여 2D 이미지 특징과 LiDAR를 효율적으로 융합하고, 깊이 인식 데이터 증강 및 이미지 수준 드롭아웃 학습으로 다층 다중 모달 3D 탐지를 가능하게 합니다.

ABSTRACT

Point clouds and RGB images are two general perceptional sources in autonomous driving. The former can provide accurate localization of objects, and the latter is denser and richer in semantic information. Recently, AutoAlign presents a learnable paradigm in combining these two modalities for 3D object detection. However, it suffers from high computational cost introduced by the global-wise attention. To solve the problem, we propose Cross-Domain DeformCAFA module in this work. It attends to sparse learnable sampling points for cross-modal relational modeling, which enhances the tolerance to calibration error and greatly speeds up the feature aggregation across different modalities. To overcome the complex GT-AUG under multi-modal settings, we design a simple yet effective cross-modal augmentation strategy on convex combination of image patches given their depth information. Moreover, by carrying out a novel image-level dropout training scheme, our model is able to infer in a dynamic manner. To this end, we propose AutoAlignV2, a faster and stronger multi-modal 3D detection framework, built on top of AutoAlign. Extensive experiments on nuScenes benchmark demonstrate the effectiveness and efficiency of AutoAlignV2. Notably, our best model reaches 72.4 NDS on nuScenes test leaderboard, achieving new state-of-the-art results among all published multi-modal 3D object detectors. Code will be available at https://github.com/zehuichen123/AutoAlignV2.

연구 동기 및 목표

• RGB 영상과 LiDAR의 3D 물체 탐지를 위한 융합 개선의 동기를 제시한다.
• 이전 크로스-모달 융합 및 광범위한 글로벌 어텐션의 비효율성을 해결한다.
• 계산량을 낮추기 위한 변형 가능하고 희소 샘플링 기반의 크로스 도메인 융합을 제안한다.
• 무거운 마스크 없이 동기화를 유지하기 위해 다중 모달 데이터 증강을 간소화한다.
• 현실 세계 시스템에 맞추어 이미지를 포함하든 제외하든 동적 추론을 가능하게 한다.

제안 방법

• Cross-Domain DeformCAFA를 제안하고, 학습 가능한 샘플링 오프셋을 사용하여 크로스-모달 융합을 위해 희소한 이미지 포인트 세트에 주의를 기울인다.
• 카메라-LiDAR 투영을 통해 보셀 중심에서 기준점을 계산하고, M개의 헤드에서 K개의 샘플링 위치로 변형 가능한 크로스 어텐션을 적용한다.
• 교차 도메인 상호작용을 위한 특징을 도메인 특화 및 인스턴스 특화 구성요소로 분해하는 크로스 도메인 토큰 생성을 도입한다.
• 깊이 순서를 사용하여 이미지 패치를 혼합하는 Depth-Aware GT-AUG를 도입하여 복잡한 마스킹이나 필터링 없이 동기화를 보존한다.
• 이미지 수준 드롭아웃 학습을 통해 이미지 입력 여부에 관계없이 임시 추론을 가능하게 하여 학습 속도와 강인성을 향상시킨다.
• nuScenes에서 CenterPoint 및 Object DGCNN 기준선으로 평가하여 테스트 리더보드에서 최첨단 결과를 달성한다.

실험 결과

연구 질문

• RQ1 변형 가능하고 교차 도메인 주의 메커니즘이 이미지와 LiDAR 특징 간의 융합 품질을 유지하거나 향상시키면서 계산 비용을 감소시킬 수 있는가?
• RQ2 깊이 인식 GT-AUG가 무거운 주석이나 필터링 없이도 크로스-모달 동기화 및 증강 효율성을 향상시키는가?
• RQ3 이미지 수준 드롭아웃 학습 전략이 이미지 데이터 가용성의 가변성에 따라 동적 추론을 가능하게 하는가?
• RQ4 AutoAlignV2가 다양한 3D 탐지기 및 nuScenes 벤치마크에서 이전 최첨단과 비교해 어떻게 성능을 보이나?
• RQ5 각 구성 요소(DeformCAFA, Depth-Aware GT-AUG, 이미지 수준 드롭아웃)가 전체 성능에 기여하는 바는 무엇인가?

주요 결과

Method	mAP	NDS	Car	Truck	Bus	Trailer	C.V.	Ped.	Motor	Bicycle
Object DGCNN	60.73	67.14
Object DGCNN	64.42	69.52
CenterPoint	62.56	68.84
CenterPoint	67.05	71.23

• AutoAlignV2가 기본 탐지기를 향상시킨다: Object DGCNN은 mAP 60.73에서 64.42로, NDS 67.14에서 69.52로 상승; CenterPoint는 nuScenes 검증에서 mAP 62.56에서 67.05로, NDS 68.84에서 71.23로 상승.
• nuScenes 테스트 리더보드에서 CenterPoint와 함께 AutoAlignV2가 이전 방법을 능가하며 NDS 72.4, mAP 68.4를 달성하고, 건설 차량, 오토바이, 자전거 카테고리에서 13.1–17.4 mAP의 클래스별 이득을 포함한다.
• Cross-Domain DeformCAFA는 mAP와 NDS에서 PointPainting, MoCa, AutoAlign, PointAugmenting 융합 전략보다 우수하다.
• 곱셈을 이용한 교차 도메인 상호작용을 통한 토큰 생성이 DeformCAFA 제거 연구에서 최상의 결과를 낳았다.
• Depth-Aware GT-AUG는 미세하면서도 일관된 이점을 제공하고 복잡한 마스킹을 피하며 전체 개선에 기여한다.
• 이미지 수준 드롭아웃 학습은 학습 속도를 높이고 정확도를 희생하지 않으면서 동적 추론을 가능하게 하며, 이미지가 부분적으로 누락되더라도 견고한 성능를 보인다.