[논문 리뷰] A*3D Dataset: Towards Autonomous Driving in Challenging Environments

Quang-Hieu Pham, Pierre Sevestre외 7명|arXiv (Cornell University)|2019. 09. 17.

Advanced Neural Network Applications참고 문헌 22인용 수 14

한 줄 요약

이 논문은 싱가포르의 다양한 고밀도 도심 환경에서 촬영한 RGB 이미지와 LiDAR 포인트 클라우드를 결합한 대규모 다중 모odal 데이터셋인 A*3D를 소개한다. 이 데이터셋은 일상적이고 다양한 기상 및 교통 조건, 그리고 주간과 야간 조건을 모두 포함한다. 이 데이터셋을 통해 3D 객체 검출기의 종합적 벤치마킹이 가능해지며, 혼합 밀도 데이터와 야간 데이터를 포함한 훈련이 모델의 강건성과 성능을 크게 향상시켜 실제 도전적인 조건에서 뛰어난 성능을 발휘함을 확인할 수 있다.

ABSTRACT

With the increasing global popularity of self-driving cars, there is an immediate need for challenging real-world datasets for benchmarking and training various computer vision tasks such as 3D object detection. Existing datasets either represent simple scenarios or provide only day-time data. In this paper, we introduce a new challenging A*3D dataset which consists of RGB images and LiDAR data with significant diversity of scene, time, and weather. The dataset consists of high-density images ($\approx~10$ times more than the pioneering KITTI dataset), heavy occlusions, a large number of night-time frames ($\approx~3$ times the nuScenes dataset), addressing the gaps in the existing datasets to push the boundaries of tasks in autonomous driving research to more challenging highly diverse environments. The dataset contains $39 ext{K}$ frames, $7$ classes, and $230 ext{K}$ 3D object annotations. An extensive 3D object detection benchmark evaluation on the A*3D dataset for various attributes such as high density, day-time/night-time, gives interesting insights into the advantages and limitations of training and testing 3D object detection in real-world setting.

연구 동기 및 목표

• 자율주행 연구를 위한 실제 도메인, 다양한 조건, 도전적인 환경을 반영한 데이터셋의 부족을 해결하기 위해, 특히 고밀도 및 저조도 조건에서의 연구를 지원하기 위함.
• 복잡한 도시 환경을 포괄하는 벤치마킹 데이터셋을 제공하여 장면, 시간, 기상 변화의 다양성을 반영함으로써 모델의 일반화 능력을 향상시키기 위함.
• 고밀도, 가림, 야간 시나리오를 포함한 실제 조건에서 최신 3D 객체 검출 모델의 성능을 평가하기 위함.
• 특히 야간 및 고밀도 프레임을 포함한 데이터 다양성이 검출 성능 및 모델 강건성에 미치는 영향을 조사하기 위함.
• 실제 도메인 적용을 위한 최적의 훈련 전략, 예를 들어 데이터 혼합 및 도메인 전용 미세조정에 대한 통찰을 제공하기 위함.

제안 방법

• A*3D 데이터셋은 LiDAR 센서와 전면 카메라를 장착한 차량을 이용해 싱가포르의 다양한 도시, 근교 및 고속도로 환경에서 데이터를 수집하였다.
• 수집 기간 동안 다양한 시간대와 기상 조건(비, 흐림, 야간 포함)을 포함하였으며, 총 30%의 프레임이 야간에 촬영되었다.
• 7개의 객체 클래스에 대해 총 39,179개의 LiDAR 포인트 클라우드 프레임과 230,000개의 3D 경계상자 애너테이션을 포함하며, 평균 프레임당 5.9개의 객체가 포함되어 고밀도 및 심한 가림 현상이 존재한다.
• 최신 모델인 PointRCNN, F-PointNet, AVOD를 사용하여 종합적인 3D 객체 검출 벤치마킹을 실시하였으며, 객체 밀도(저/고/혼합), 조도 조건(주간/야간/모두), 훈련 데이터 구성 등 다양한 설정을 적용하였다.
• 표준화된 훈련/검증 세트(훈련: 5,208개, 검증: 1,500개)를 사용하여 모델을 훈련 및 평가하였으며, 시간대 기반으로 데이터를 분할하여 양 세트 모두에 균형 잡힌 주간/야간 분포를 확보하였다.
• 모델 성능 평가를 위해 세 가지 어려움 수준(Easy, Moderate, Hard)에서 평균 정밀도(mAP)를 측정하여 실제 도메인 조건에서의 성능를 분석하였다.

실험 결과

연구 질문

• RQ1 고밀도 및 가림이 심한 장면에서의 훈련이 3D 객체 검출 모델의 성능 및 강건성에 미치는 영향은 어떠한가?
• RQ2 RGB 이미지에 의존하는 3D 검출기에서 야간 데이터 포함 여부가 일반화 능력과 정확도에 미치는 영향은 무엇인가?
• RQ3 저밀도 및 고밀도 훈련 샘플을 혼합하여 훈련하는 것이 각각 단독으로 훈련하는 것보다 더 나은 성능을 내는가?
• RQ4 조도 조건(주간 대비 야간)이 검출 성능에 미치는 영향은 어떠한가? 단일 일반화 모델가 아니라 전용 모델이 더 나은가?
• RQ5 공간적, 시간적, 기상 변화의 다양성이 실생활 자율주행 시나리오에서 모델의 일반화 능력 향상에 얼마나 기여하는가?

주요 결과

• 저밀도 및 고밀도 샘플을 혼합하여 훈련한 경우가 가장 뛰어난 검출 성능를 기록하였으며, 이는 고밀도 데이터가 강건성을 향상시키고, 저밀도 데이터가 정규화 역할을 할 수 있음을 시사한다.
• A*3D에서 가장 높은 성능를 기록한 모델은 F-PointNet을 사용하여 주간 및 야간 데이터를 모두 포함한 훈련을 수행했으며, Hard 어려움 수준에서 77.23%의 mAP를 달성하여 단일 조도 조건에서 훈련한 모델보다 뛰어난 성능를 보였다.
• 야간 데이터 전용으로 훈련한 모델도 주간 데이터 전용 훈련 모델과 유사한 성능를 기록하였으며, 훈련 샘플 수가 약 1/3에 불과한 상황에서도 성능가 비슷한 수준을 유지하였다. 이는 야간 데이터가 매우 정보가 풍부하다는 것을 시사한다.
• 주간 데이터 전용으로 훈련한 모델의 성능는 야간 검증 세트에서 크게 떨어졌다 (예: F-PointNet의 경우 Easy 수준에서 mAP가 81.88에서 74.98로 감소). 이는 훈련 시 도메인 인식 데이터의 중요성을 강조한다.
• 훈련 데이터 크기를 늘릴수록 성능 향상의 이득이 점점 감소하는 경향을 보였으며, 이는 향후 성능 향상에 알고리즘적 혁신이 데이터 양보다 더 큰 영향을 미칠 수 있음을 시사한다.
• 야간 및 고밀도 장면의 포함은 모델의 강건성을 크게 향상시키며, 다양한 조건에서 훈련된 모델이 실제 도메인 시나리오에서 더 잘 일반화됨을 확인할 수 있었다.