[논문 리뷰] Quantifying Data Augmentation for LiDAR based 3D Object Detection

Martin Hahner, Dengxin Dai외 2명|arXiv (Cornell University)|2020. 04. 03.

Robotics and Sensor-Based Localization참고 문헌 25인용 수 9

한 줄 요약

이 논문은 LiDAR 기반 3D 객체 검출을 위한 데이터 증강 기법에 대한 종합적인 실험 연구를 제시하며, 전체적인 증강 기법인 회전 및 스케일링이 성능 향상에 크게 기여하는 것으로 밝혀졌고, 국소적 객체 이동은 오히려 역효과를 낼 수 있음을 시험한다. 저자들은 KITTI에서 최대 1.5% 및 STF에서 최대 1.7% 향상된 PointPillars 성능을 달성하는 최적화된 증강 정책을 제안하며, 이러한 발견은 여러 최신 3D 검출 모델과 데이터셋으로 일반화됨을 보여준다.

ABSTRACT

In this work, we shed light on different data augmentation techniques commonly used in Light Detection and Ranging (LiDAR) based 3D Object Detection. For the bulk of our experiments, we utilize the well known PointPillars pipeline and the well established KITTI dataset. We investigate a variety of global and local augmentation techniques, where global augmentation techniques are applied to the entire point cloud of a scene and local augmentation techniques are only applied to points belonging to individual objects in the scene. Our findings show that both types of data augmentation can lead to performance increases, but it also turns out, that some augmentation techniques, such as individual object translation, for example, can be counterproductive and can hurt the overall performance. We show that these findings transfer and generalize well to other state of the art 3D Object Detection methods and the challenging STF dataset. On the KITTI dataset we can gain up to 1.5% and on the STF dataset up to 1.7% in 3D mAP on the moderate car class.

연구 동기 및 목표

• 다양한 데이터 증강 기법—전체적 및 국소적—이 LiDAR 기반 3D 객체 검출 성능에 미치는 영향을 체계적으로 평가하는 것.
• 일반화를 향상시키는 증강 전략과 성능을 저하시킬 수 있는 전략(특히 복잡한 시나리오에서)을 식별하는 것.
• 여러 데이터셋에서 최신 3D 검출기 성능을 향상시키는 데 기여하는 새로운 최적화된 증강 정책을 개발하고 검증하는 것.
• 실험적 시도-오차를 피할 수 있는 검증된, 이식 가능한 증강 전략을 실무자에게 제공하는 것.

제안 방법

• 36개의 별도 증강 정책을 PointPillars 프레임워크와 KITTI 데이터셋을 사용해 평가하였으며, 개별 기법의 영향을 분리하기 위해 추론 실험을 실시함.
• 전체 증강 기법(예: 시나리오 수준의 회전, 스케일링, 노이즈 삽입)은 전체 포인트 클라우드에 균일하게 적용되며, 국소 증강 기법은 각 객체별로 적용되며, 예를 들어 객체별 이동, 회전 또는 스케일링이 포함됨.
• 새로운 GT-필터링 정책을 도입하여, 어려운 예제는 학습 중에 제거하지만 추론 시 평가함으로써 일반화 효과를 분석함.
• 가장 성능이 뛰어난 증강 정책은 VoxelRCNN, PV-RCNN 등 5개의 추가 최신 3D 검출기에서 검증되었으며, KITTI 및 더 도전적인 STF 데이터셋에서 테스트됨.
• 성능 평가에는 중간 및 어려운 자동차 카테고리의 3D mAP@40를 사용하였으며, 각 증강 기법의 기여도를 분리하기 위해 추론 실험을 실시함.
• 최종 정책은 가장 효과적인 기법들을 조합하여 구성됨: 국소 객체 이동 제거, 국소 스케일링 포함, 학습 시 어려운 예제 제외.

실험 결과

연구 질문

• RQ1 LiDAR 기반 3D 객체 검출에서 전체적 증강 기법과 국소적 증강 기법 중 어느 것이 더 일관된 성능 향상을 이끌어내는가?
• RQ2 기타 작업에서는 일반적으로 사용되지만, 왜 국소 객체 이동은 성능을 저하시키는가?
• RQ3 학습 중 어려운 예제를 제거하면 평가 시 어려운 케이스에서 일반화 및 성능 향상이 이루어지는가?
• RQ4 이러한 발견은 다양한 3D 객체 검출 아키텍처와 데이터셋으로 일반화되는가?
• RQ5 개별 증강 기법의 조합가능성이 누적적 또는 상호보완적인 향상 효과를 낳는가?

주요 결과

• 국소 객체 이동은 검출 성능을 심각하게 저하시키며, 이는 모델이 허위 공간 관계를 유도할 수 있음을 시사함.
• 학습 중 어려운 예제를 제거하면 평가 시 어려운 예제에서 1.16%의 성능 향상이 이루어지며, 이는 어려운 케이스가 학습 과정에서 모델을 혼란스럽게 할 수 있음을 시사함.
• 전체 증강 기법인 회전 및 스케일링은 일관되게 성능 향상을 이끌어내며, 전체 스케일링이 가장 높은 성능 향상을 기록함.
• 제안된 증강 정책 #41은 KITTI 및 STF에서 각각 중간 자동차 클래스에서 최대 1.5% 향상되며, 어려운 자동차 클래스에서 최대 1.7% 향상됨.
• 이러한 발견은 VoxelRCNN 및 PV-RCNN와 같은 여러 최신 모델에 일반화되며, STF, KITTI, nuScenes, Lyft Level5 등 다양한 데이터셋으로 이식 가능함.
• 모든 최상의 성능 기법을 조합해도 최고의 결과가 나오지 않으며, 이는 증강 정책 간 비가산적 상호작용이 있음을 시사함.