[논문 리뷰] BAAI-VANJEE Roadside Dataset: Towards the Connected Automated Vehicle Highway technologies in Challenging Environments of China

Yongqiang Deng, Dengjiang Wang외 7명|arXiv (Cornell University)|2021. 05. 29.

Advanced Neural Network Applications참고 문헌 12인용 수 15

한 줄 요약

이 논문은 중국의 도로변 스마트 기지국에서 수집한 대규모 실생활 데이터셋인 BAAI-VANJEE 도로변 데이터셋을 소개한다. 이 데이터셋은 2,500개의 LiDAR 프레임과 5,000개의 RGB 이미지로 구성되어 있으며, 12개 클래스에 걸쳐 총 74,000개의 3D 객체 및 105,000개의 2D 객체 레이블을 포함한다. 다양한 기상 및 조명 조건에서 고도의 2D/3D 객체 검출 및 다중 센서 융합을 가능하게 하며, 특히 자동차의 3D 검출 성능에서 뛰어난 성능(88.62% AP)을 보이며 COCO 사전학습 대비 우수한 성능을 입증한다.

ABSTRACT

As the roadside perception plays an increasingly significant role in the Connected Automated Vehicle Highway(CAVH) technologies, there are immediate needs of challenging real-world roadside datasets for bench marking and training various computer vision tasks such as 2D/3D object detection and multi-sensor fusion. In this paper, we firstly introduce a challenging BAAI-VANJEE roadside dataset which consist of LiDAR data and RGB images collected by VANJEE smart base station placed on the roadside about 4.5m high. This dataset contains 2500 frames of LiDAR data, 5000 frames of RGB images, including 20% collected at the same time. It also contains 12 classes of objects, 74K 3D object annotations and 105K 2D object annotations. By providing a real complex urban intersections and highway scenes, we expect the BAAI-VANJEE roadside dataset will actively assist the academic and industrial circles to accelerate the innovation research and achievement transformation in the field of intelligent transportation in big data era.

연구 동기 및 목표

• 복잡한 실생활 환경에서 연결형 자율주행 고속도로(CAVH) 기술을 위한 공개적이고 고품질의 도로변 인식 데이터셋 부족 문제를 해결하기 위해.
• 실생활 도로변 데이터를 활용하여 2D/3D 객체 검출 및 다중 센서 융합 모델의 개발 및 벤치마킹을 지원하기 위해.
• 기상 조건, 시간대, 교통 조건의 다양성을 반영한 고품질의 레이블을 제공하여 모델의 강인성을 향상시키기 위해.
• 학술 및 산업 연구를 위한 공개 가능한 대규모 데이터셋을 제공함으로써 지능형 교통 시스템 분야의 혁신을 가속화하기 위해.

제안 방법

• 360° 회전식 32L-LiDAR와 네 대의 90° 시야각 네트워크 카메라를 탑재한 도로변 VANJEE 스마트 기지국을 4.5m 높이에 설치하여 동기화된 데이터 수집을 수행하였다.
• 맑은 날, 흐린 날, 비 오는 날, 주간 및 야간 조건에서 2,500개의 LiDAR 프레임과 5,000개의 RGB 이미지 프레임을 수집하였으며, 센서 간 시간 정렬률은 20%였다.
• 12개의 객체 클래스(삼륜차 및 특수 차량 등 흔하지만 중국 도로에서 흔한 요소 포함)에 대해 완전한 수동으로 고정밀도 3D 경계상자 및 2D 경계상자 레이블링을 수행하였다.
• 3D 객체 검출 모델의 공정한 평가를 가능하게 하기 위해 다양한 환경 조건을 포함한 표준화된 검증 세트(1,000개의 LiDAR 프레임)를 설계하였다.
• 동일한 사전학습 가중치를 사용하여 COCO 및 BAAI-VANJEE 데이터셋 모두에서 SA-SSD를 훈련 및 평가하여 성능 비교를 수행하였다.
• 데이터 신뢰성과 활용도를 확보하기 위해 영상 품질, 시나리오 다양성, 정보 보안을 중심으로 철저한 데이터 선별 기준을 적용하였다.

실험 결과

연구 질문

• RQ1 다양한 환경 조건 하에서 도로변 기반 인식 시스템이 차량 기반 시스템 대비 객체 검출 성능에서 어떻게 비교되는가?
• RQ2 고품질의 다중 모odal 레이블이 포함된 공개된 도로변 데이터셋이 COCO와 같은 일반 목적 데이터셋에 비해 3D 객체 검출 성능 향상에 기여하는가?
• RQ3 도로변 LiDAR의 과거 시야 감지 능력이 차량 내장 센서 대비 먼 거리 또는 가림을 받는 객체 검출에 얼마나 기여하는가?
• RQ4 기상 및 조명 조건의 변화가 도로변 데이터로 훈련된 2D 및 3D 객체 검출 모델의 성능에 어떤 영향을 미치는가?
• RQ5 삼륜차 및 특수 차량 등 희귀 클래스까지 포함된 상세한 다중 클래스 레이블링이 실제 중국 도로 환경에서의 모델 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• BAAI-VANJEE 데이터셋은 자동차에 대해 3D 검출 AP 88.62%를 기록하여, COCO에서 사전학습하고 BAAI-VANJEE에서 평가했을 때의 64.54% AP보다 뚜렷이 높은 성능을 보이며 도메인 특화 적응에 있어 그 가치를 입증하였다.
• 자전거에 대해서는 BAAI-VANJEE에서 76.12%의 AP를 기록한 반면, COCO에서는 단지 13.42%에 그쳐, 이 데이터셋이 어려운 특성(작은 크기, 빠른 이동 등)을 가진 객체를 효과적으로 포착함을 시사한다.
• 보행자 검출 성능은 COCO에서 4.55% AP에서 BAAI-VANJEE에서 63% AP로 크게 향상되어, 복잡한 시나리오에서 크기가 작고 시야가 잘 안 되는 객체를 탐지하는 데 이 데이터셋의 유용성을 입증한다.
• 데이터셋의 37.42%는 맑은 날, 11.53%는 흐린 날, 27.88%는 야간, 23.17%는 비 오는 날로 구성되어 있어 다양한 기상 및 조명 조건에서의 강건한 일반화 능력을 확보한다.
• BAAI-VANJEE의 프레임당 객체 수는 KITTI보다 훨씬 높으며, 특히 LiDAR에서 20m 이상 떨어진 거리에서 더욱 두드러지며, 도로변 감지의 과거 시야 장점이 확인된다.
• LiDAR 데이터상 자동차의 크기 분포는 실제적인 범위(높이: 1.2–2.0m, 너비: 1.5–2.2m, 길이: 3.5–5.5m)를 반영하여 정확한 3D 객체 검출 및 정위치 결정을 지원한다.