[논문 리뷰] Transformation-Equivariant 3D Object Detection for Autonomous Driving

Wu Hai, Chenglu Wen외 4명|arXiv (Cornell University)|2022. 11. 22.

Advanced Neural Network Applications인용 수 13

한 줄 요약

이 논문은 자율주행을 위한 고도로 효율적인 변환 등변 3차원 객체 검출기인 TED를 제안한다. 이는 희소 컨벌루션과 새로운 풀링 모듈을 사용하여 회전 및 반사 등변 특징을 학습한다. 등변 볼록체 특징을 정렬하고 압축하여 효율적인 표현으로 통합함으로써, KITTI 3D 검출 랭킹에서 최고 성능을 기록하며 중간 차량 클래스 기준 85.28% AP를 달성하고, 추론 속도는 0.1초 이내를 기록한다. 이는 TTA 및 이전의 등변 방법보다 정확도와 효율성 면에서 모두 뛰어나다.

ABSTRACT

3D object detection received increasing attention in autonomous driving recently. Objects in 3D scenes are distributed with diverse orientations. Ordinary detectors do not explicitly model the variations of rotation and reflection transformations. Consequently, large networks and extensive data augmentation are required for robust detection. Recent equivariant networks explicitly model the transformation variations by applying shared networks on multiple transformed point clouds, showing great potential in object geometry modeling. However, it is difficult to apply such networks to 3D object detection in autonomous driving due to its large computation cost and slow reasoning speed. In this work, we present TED, an efficient Transformation-Equivariant 3D Detector to overcome the computation cost and speed issues. TED first applies a sparse convolution backbone to extract multi-channel transformation-equivariant voxel features; and then aligns and aggregates these equivariant features into lightweight and compact representations for high-performance 3D object detection. On the highly competitive KITTI 3D car detection leaderboard, TED ranked 1st among all submissions with competitive efficiency.

연구 동기 및 목표

• 3D 객체 검출기에서 회전 및 반사 변형을 명시적으로 모델링하지 못함으로써 발생하는 낮은 내성성과 무거운 데이터 증강에 대한 의존성 문제를 해결하기 위해.
• 실시간 자율주행 응용 프로그램을 위한 기존 등변 네트워크의 높은 계산 비용과 느린 추론 속도 문제를 해결하기 위해.
• 변환 등변 특징 학습을 활용하여 높은 검출 정확도를 유지하면서도 실시간 추론을 달성할 수 있는 효율적인 아키텍처를 설계하기 위해.
• 새로운 거리 인식 데이터 증강 전략을 통해 먼 거리에 있는 객체나 희소한 객체의 검출을 향상시키기 위해.

제안 방법

• 다양한 회전 및 반사된 포인트 클라우드 변형에 대해 공유 가중치를 사용하여 다중 채널의 변환 등변 볼록체 특징을 추출하는 변환 등변 희소 컨벌루션(TeSpConv)을 도입한다.
• 장면 수준의 등변 특징을 경량 표현으로 정렬하고 집계하기 위해 변환 등변 뷰어(Bird's Eye View, TeBEV) 풀링을 제안한다.
• 개체 수준의 특징을 정렬하고 압축하여 단순한 불변 표현으로 집계하기 위해 변환 불변 볼록체(TiVoxel) 풀링을 개발한다.
• 근처의 밀도 높은 객체에서 유사한 희소 학습 샘플을 생성함으로써 먼 거리의 객체 검출을 위한 기하학적 일반화 능력을 향상시키기 위해 거리 인식 데이터 증강(DA-Aug) 기법을 활용한다.
• 두 단계의 볼록체 기반 검출 파이프라인에 기반하여, 효율성을 유지하기 위해 희소 연산과 특징 압축을 활용하면서도 등변 설계를 확장한다.
• 공유 가중치와 특징 정렬을 활용한 다중 변형 추론 전략을 통해 반복적인 전체 네트워크 추론 없이도 등변성을 달성한다.

실험 결과

연구 질문

• RQ1 많은 데이터 증강이나 테스트 시 에너싱 없이도, 임의의 회전 및 반사에 대해 강건한 성능을 달성할 수 있는 3D 객체 검출기가 가능한가?
• RQ2 실시간 자율주행 시스템에서 실시간 추론에 적합한 계산 효율성을 확보하기 위해 변환 등변 특징 학습을 어떻게 효율적으로 구현할 수 있는가?
• RQ3 변환 등변 표현은 특히 먼 거리나 희소한 객체의 검출 정확도 향상에 얼마나 기여할 수 있는가?
• RQ4 밀도 높은 주변 환경에서 희소 샘플을 합성하는 새로운 데이터 증강 전략이 원거리 객체 검출에 도움이 되는가?

주요 결과

• TED는 2022년 8월 15일 기준 KITTI 3D 검출 벤치마크에서 중간 차량 클래스 기준 85.28% AP를 기록하여 모든 제출물 중 1위를 차지했다.
• 기본 모델 대비 2.2% 향상된 AP와 TTA 대비 1.26% 향상된 AP를 기록했으며, 추론 시간은 0.27초에서 0.09초로 감소했다.
• 이전의 등변 검출기인 EON보다 9.3% 높은 AP(Car, moderate) 성능을 기록했고, 4.4배 더 빠른 속도(0.09초 대비 0.4초)로 작동했다.
• TED-M 모델은 KITTI 검증 세트에서 방향 정확도(AOS)가 97.10으로 크게 향상되어 방향 추정 성능이 향상됨을 보였다.
• 제안된 DA-Aug 증강 기법은 근처의 밀도 높은 객체에서 유사한 희소 학습 샘플을 생성함으로써 희소하고 먼 거리의 객체 검출을 향상시켰다.
• LiDAR 전용 설정에서 TED는 11.1 FPS를 기록했으며, 정확도는 Voxel-RCNN(25 FPS)을 초월하면서도 경쟁 가능한 속도를 유지했다.