[논문 리뷰] Improving 3D Object Detection through Progressive Population Based Augmentation

Shuyang Cheng, Zhaoqi Leng외 11명|arXiv (Cornell University)|2020. 04. 02.

Advanced Neural Network Applications참고 문헌 39인용 수 12

한 줄 요약

이 논문은 점진적으로 탐색 공간을 좁히고 이전 라운드에서 발견된 최상의 성능을 보인 초매개변수를 재사용함으로써 3D 포인트 클라우드 객체 검출을 위한 최적의 데이터 증강 정책을 자동으로 학습하는 프로그레시브 인구 기반 증강(PPBA)을 제안한다. PPBA는 KITTI 및 Waymo Open Dataset에서 최신 기술 수준의 성능을 달성하며, 데이터 효율성 면에서 최대 10배 향상되고 추론 비용 없이 무작위 및 PBA 기반 모델을 능가한다.

ABSTRACT

Data augmentation has been widely adopted for object detection in 3D point clouds. However, all previous related efforts have focused on manually designing specific data augmentation methods for individual architectures. In this work, we present the first attempt to automate the design of data augmentation policies for 3D object detection. We introduce the Progressive Population Based Augmentation (PPBA) algorithm, which learns to optimize augmentation strategies by narrowing down the search space and adopting the best parameters discovered in previous iterations. On the KITTI 3D detection test set, PPBA improves the StarNet detector by substantial margins on the moderate difficulty category of cars, pedestrians, and cyclists, outperforming all current state-of-the-art single-stage detection models. Additional experiments on the Waymo Open Dataset indicate that PPBA continues to effectively improve the StarNet and PointPillars detectors on a 20x larger dataset compared to KITTI. The magnitude of the improvements may be comparable to advances in 3D perception architectures and the gains come without an incurred cost at inference time. In subsequent experiments, we find that PPBA may be up to 10x more data efficient than baseline 3D detection models without augmentation, highlighting that 3D detection models may achieve competitive accuracy with far fewer labeled examples.

연구 동기 및 목표

• 3D 객체 검출을 위한 데이터 증강 정책 설계를 자동화하여 수동으로 설계된 아키텍처에 특화된 증강 기법을 넘어서는 것.
• 2D 이미지 증강 검색 방법을 그대로 적용하기에 부적합한 고차원적이고 기하학적 기반의 포인트 클라우드 증강 공간 문제를 해결하는 것.
• 효율적인 탐색을 통해 효과적인 증강 정책을 발견함으로써 3D 검출에서 모델의 일반화 능력과 데이터 효율성을 향상시키는 것.
• 2D 이미지 분류와 같은 다른 시각 작업으로의 일반화를 검증하기 위해 제안된 방법을 적용하는 것.

제안 방법

• PPBA는 이전 라운드에서 발견된 최고 성능을 보인 증강 매개변수에 집중함으로써 반복적으로 탐색 공간을 좁히는 진화적 탐색 전략을 사용한다.
• 증강 정책의 인구 집단을 유지하고 검증 세트에서 성능 평가를 통해 선택, 변이, 교차를 통해 진화시킨다.
• 알고리즘은 이전 반복에서 얻은 고성능 초매개변수를 재사용함으로써 반복적인 탐색을 줄여 효율성을 높인다.
• 탐색 공간에는 3D 포인트 클라우드 데이터 특성에 맞게 조정된 기하학적 변환(예: 회전, 스케일링, 포인트 클라우드 드롭아웃)이 포함된다.
• PPBA는 스타넷, 포인트필라스 등의 3D 검출 모델과 이미지넷에서의 ResNet-50 2D 이미지 분류에 적용되어 일반화 능력을 입증한다.
• 이 방법은 계산적으로 효율적이며, 이미지넷에서 16개의 V100 GPU 시간만 소요되며, AutoAugment의 15,000시간 대비 훨씬 낮은 자원 소모를 기록한다.

실험 결과

연구 질문

• RQ1 자동화된 데이터 증강이 수동으로 설계된 방법을 뛰어넘어 3D 포인트 클라우드 객체 검출 성능을 크게 향상시킬 수 있는가?
• RQ2 PPBA는 3D 검출을 위한 효과적인 증강 정책을 발견하는 데서 랜덤 탐색 및 인구 기반 학습(PBA)과 비교해 어떻게 성능을 냈는가?
• RQ3 PPBA는 특히 레이블이 제한된 데이터에서 3D 검출의 데이터 효율성을 어느 정도 향상시키는가?
• RQ4 PPBA는 3D 검출을 넘어서 2D 이미지 분류와 같은 다른 비전 작업으로 일반화되는가?

주요 결과

• KITTI 3D 검출 테스트 세트에서, PPBA는 스타넷 검출기의 자동차, 보행자, 자전거 기준 중간 난이도에서 상당한 성능 향상을 보였으며, 현재 모든 싱글스테이지 모델을 능가한다.
• Waymo Open Dataset에서, PPBA는 스타넷 및 포인트필라스 검출기 모두를 향상시켰으며, 모델 아키텍처의 발전 수준과 유사한 성능 향상을 기록했고, 추론 비용 없이도 성능을 냈다.
• Waymo 데이터셋의 10%만을 사용해 훈련할 경우, PPBA는 최대 10배 높은 데이터 효율성을 달성했으며, 특히 단일 프레임에서 샘플링할 경우 두드러진 성능 향상을 보였다.
• 이미지넷 검증 세트에서, PPBA는 단지 16 GPU 시간으로 77.5%의 Top-1 정확도를 달성했으며, 정확도는 AutoAugment와 유사했지만 효율성 면에서 뛰어난 성능을 보였다.
• PPBA의 성능 향상은 작은 데이터셋 크기에서 가장 두드러지며, 강력한 정규화 및 일반화 이점을 시사한다.
• PPBA는 2D 이미지 분류로도 효과적으로 일반화되어 3D 인식 작업을 넘어서는 광범위한 적용 가능성을 입증한다.