[논문 리뷰] PV-RCNN: The Top-Performing LiDAR-only Solutions for 3D Detection / 3D Tracking / Domain Adaptation of Waymo Open Dataset Challenges

Shaoshuai Shi, Chaoxu Guo외 2명|arXiv (Cornell University)|2020. 08. 28.

Advanced Neural Network Applications참고 문헌 11인용 수 8

한 줄 요약

이 논문은 복합 밀도와 비정규성 문제를 해결하기 위해 복소점 기반 희소 컨볼루션과 포인트 기반 세트 추상화를 통합한 LiDAR 전용 3D 객체 검출 프레임워크인 PV-RCNN을 제안한다. 시간 정보, 동적 바이트라이제이션, 적응형 샘플링, 모델 앙상블 및 비최대 억제, 박스 투표 기법을 통합함으로써 우수한 3D 검출, 추적 및 도메인 적응 성능을 달성한다. 이는 Waymo Open Dataset Challenge 2020의 세 가지 트랙에서 LiDAR 전용 방법 중 1위, 전반적으로 2위를 기록한다.

ABSTRACT

In this technical report, we present the top-performing LiDAR-only solutions for 3D detection, 3D tracking and domain adaptation three tracks in Waymo Open Dataset Challenges 2020. Our solutions for the competition are built upon our recent proposed PV-RCNN 3D object detection framework. Several variants of our PV-RCNN are explored, including temporal information incorporation, dynamic voxelization, adaptive training sample selection, classification with RoI features, etc. A simple model ensemble strategy with non-maximum-suppression and box voting is adopted to generate the final results. By using only LiDAR point cloud data, our models finally achieve the 1st place among all LiDAR-only methods, and the 2nd place among all multi-modal methods, on the 3D Detection, 3D Tracking and Domain Adaptation three tracks of Waymo Open Dataset Challenges. Our solutions will be available at https://github.com/open-mmlab/OpenPCDet

연구 동기 및 목표

• Waymo Open Dataset에서 LiDAR 전용 3D 객체 검출, 추적 및 도메인 적응을 위한 고성능 솔루션을 개발하기 위해.
• 복소점 기반 및 포인트 기반 딥러닝 접근법의 장점을 융합하여 LiDAR 포인트 클라우드의 희소성과 비정규성 문제를 해결하기 위해.
• 연속 프레임의 시간 특징 통합을 통해 보행자 및 자전거 기사와 같은 소형 객체의 검출 정확도를 향상시키기 위해.
• 적응형 샘플링 및 모델 앙상블를 통해 타겟 도메인 데이터에 대한 미세조정을 통해 정확도와 일반화 능력을 향상시키기 위해.
• 카메라 또는 다중 모odal 데이터에 의존하지 않고도 오직 LiDAR 입력만으로도 여러 벤치마크에서 최상위 성능을 달성하기 위해.

제안 방법

• 복소점 기반의 다중 스케일 복소점 특징을 키포인트 특징으로 집계하는 Voxel Set Abstraction(VSA)를 사용하는 이중 단계 3D 검출기인 PV-RCNN을 제안한다. 이는 정밀한 공간 위치를 유지한다.
• 세그멘테이션 감독을 활용해 키포인트 특징을 재가중하는 Predicted Keypoint Weighting(PKW)을 도입하여 배경 키포인트보다는 전경 키포인트를 강조한다.
• 3D 프로포절 영역 주변의 키포인트 특징을 집계하기 위해 RoI-grid 풀링을 적용하여 수신 영역을 확장하고 프로포절 경계를 초월한 특징 그룹화를 가능하게 한다.
• 이전 프레임의 포인트 클라우드와 타임델타 임베딩을 통합하여 더 높은 밀도의 입력을 생성함으로써 소형 및 희소 객체의 검출 성능을 향상시킨다.
• 학습 효율성을 유지하면서 정량화 손실을 줄이기 위해 추론 단계에서만 동적 바이트라이제이션을 적용한다.
• 클래스별 앵커 초모델 하이퍼파rameter를 제거하기 위해 적응형 샘플링 선택 기법을 사용하여 학습 안정성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 어떻게 복소점 기반 및 포인트 기반 3D 검출 방법을 효과적으로 융합하여 희소한 LiDAR 포인트 클라우드에서 검출 정확도를 향상시킬 수 있는가?
• RQ2 연속된 LiDAR 프레임에서 시간 정보를 통합하면 소형 객체의 검출 성능에 얼마나 기여하는가?
• RQ3 학습 파이프라인을 변경하지 않고도 추론 단계에서 동적 바이트라이제이션을 적용하면 검출 mAP에 어떤 영향을 미치는가?
• RQ4 비최대 억제 및 박스 투표 기반의 모델 앙상블 기법은 3D 검출, 추적 및 도메인 적응 작업 전반에서 성능 향상에 얼마나 효과적인가?
• RQ5 다중 모달 데이터에 의존하지 않고도 LiDAR 전용 모델이 도메인 적응에서 최고 성능(SOTA)을 달성할 수 있는가?

주요 결과

• 최종 모델 앙상블는 차량에 대해 81.06/80.57 mAP(L1/L2), 보행자에 대해 73.69/73.23, 자전거 기사에 대해 75.10/73.84를 기록하여 LiDAR 전용 방법 중 1위, 전반적으로 2위를 차지했다.
• 이전 프레임을 통합함으로써 자전거 기사의 mAP가 최대 2.6% 향상되었고, 보행자에 대해서는 1.5% 향상되어 시간적 맥락의 유용성을 입증했다.
• 추론 단계에서의 동적 바이트라이제이션은 모든 클래스에서 mAP를 0.5~1.0 포인트 향상시켜 정량화 손실 감소 효과를 입증했다.
• 적응형 샘플링 및 RoI 특징 기반 분류 기법은 어려운 클래스인 자전거 기사의 경우 mAP를 1.5~2.5 포인트 향상시켜 성능 향상을 이뤘다.
• 소프트-NMS와 박스 투표 기반의 모델 앙상블는 평균 mAP를 2점 이상 향상시켰으며, 특히 자전거 기사 및 보행자 카테고리에서 가장 큰 성과를 기록했다.
• 도메인 적응 분야에서 80개의 타겟 도메인 시퀀스에 대한 미세조정 결과, 차량에 대해 71.40/70.70 mAP(L1/L2), 보행자에 대해 58.40/55.36를 기록하여 새로운 도메인으로의 강력한 일반화 능력을 입증했다.