[논문 리뷰] Domain and Modality Gaps for LiDAR-based Person Detection on Mobile Robots.

Dan Jia, Alexander Hermans외 1명|arXiv (Cornell University)|2021. 06. 21.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 8

한 줄 요약

이 논문은 모바일 로봇을 위한 LiDAR 기반 인식 검출에서 도메인 및 모odal 갭을 조사하며, JackRabbot 데이터셋에서 최신 3D(_CENTERPOINT_) 및 2D( _DR-SPAAM_ ) 검출기를 평가한다. 연구 결과, 주행 데이터셋에서 사전학습된 모델은 근거리, 동적인 모바일 로봇 환경으로의 일반화 능력이 떨어지며, 높은 계산 비용에도 불구하고 3D 검출기는 2D 검출기보다 정확도와 강건성 면에서 뛰어나다는 것을 발견했다.

ABSTRACT

Person detection is a crucial task for mobile robots navigating in human-populated environments and LiDAR sensors are promising for this task, given their accurate depth measurements and large field of view. This paper studies existing LiDAR-based person detectors with a particular focus on mobile robot scenarios (e.g. service robot or social robot), where persons are observed more frequently and in much closer ranges, compared to the driving scenarios. We conduct a series of experiments, using the recently released JackRabbot dataset and the state-of-the-art detectors based on 3D or 2D LiDAR sensors (CenterPoint and DR-SPAAM respectively). These experiments revolve around the domain gap between driving and mobile robot scenarios, as well as the modality gap between 3D and 2D LiDAR sensors. For the domain gap, we aim to understand if detectors pretrained on driving datasets can achieve good performance on the mobile robot scenarios, for which there are currently no trained models readily available. For the modality gap, we compare detectors that use 3D or 2D LiDAR, from various aspects, including performance, runtime, localization accuracy, robustness to range and crowdedness. The results from our experiments provide practical insights into LiDAR-based person detection and facilitate informed decisions for relevant mobile robot designs and applications.

연구 동기 및 목표

• 기존의 LiDAR 기반 인식 검출기가 모바일 로봇 환경에서 어떻게 작동하는지 평가하는 것. 이는 기존의 주행 환경과 크게 다름.
• 주행 환경에서 사전학습된 검출기를 모바일 로봇 데이터에 적용하여 주행 환경과 모바일 로봇 환경 간의 도메인 갭을 조사하는 것.
• 근거리, 혼잡하고 동적인 모바일 로봇 환경에서 3D와 2D LiDAR 기반 검출기의 성능, 정확도, 강건성 간 비교.
• 현재 LiDAR 검출 기법의 주요 한계와 장점을 규명하여 모바일 로봇 설계 및 구현에 실질적인 통찰을 제공하는 것.

제안 방법

• 최근 공개된 JackRabbot 데이터셋을 사용하여 근거리, 동적인 인간 상호작용을 특징으로 하는 모바일 로봇 환경에서 최신 3D( _CenterPoint_ ) 및 2D( _DR-SPAAM_ ) LiDAR 기반 인식 검출기를 평가한다.
• 주행 데이터셋에서 사전학습된 모델을 모바일 로봇 데이터에 대해 미세조정(fine-tuning)하거나 zero-shot 방식으로 적용하여 성능을 평가한다.
• 3D와 2D LiDAR 모달 간 검출 성능, 정위치 정확도, 추론 속도, 거리 및 장면 밀도 변화에 대한 강건성 등을 정량적으로 비교한다.
• 주행 데이터셋에서 학습된 모델을 모바일 로봇 환경에 적용했을 때 성능 저하를 측정하여 도메인 이동 효과를 분석한다.
• 모달 특화 행동에 대한 분석을 통해 3D와 2D LiDAR 표현 간의 차이, 특히 가림, 거리, 센서 해상도에 대한 민감도를 조사한다.
• 표준 검출 지표(예: mAP, 정밀도, 재현율)와 런타임 측정을 사용하여 정확도와 효율성 간의 상충 관계를 평가한다.

실험 결과

연구 질문

• RQ1 주행 데이터셋에서 사전학습된 LiDAR 기반 인식 검출기가 근거리, 동적인 인간 상호작용이 빈번한 모바일 로봇 환경으로 일반화되는 정도는 어느 정도인가?
• RQ2 다양한 환경 조건에서 3D LiDAR 검출기와 2D LiDAR 검출기 간의 검출 정확도, 정위치 정밀도, 강건성 면에서의 성능 비교는 어떻게 되는가?
• RQ3 특히 추론 속도, 거리 민감도, 군중 밀도에 대한 민감도 측면에서, 모바일 로봇 응용 분야에서 3D와 2D LiDAR 모달 간의 핵심 성능 상충 관계는 무엇인가?
• RQ4 LiDAR 기반 인식 검출에서 주행 환경과 모바일 로봇 환경 간의 도메인 갭은 얼마나 크며, 모델 이식 및 구현에 어떤 영향을 미치는가?

주요 결과

• 주행 데이터셋에서 사전학습된 검출기는 모바일 로봇 환경에 적용했을 때 성능 저하가 심각하게 나타나, 상당한 도메인 갭이 존재함을 시사한다.
• 3D LiDAR 기반 검출기(예: _CenterPoint_)는 특히 혼잡하고 근거리 조건에서 2D 검출기(예: _DR-SPAAM_)보다 높은 검출 정확도와 더 나은 정위치 정밀도를 달성한다.
• 2D LiDAR 검출기는 더 빠른 추론 속도를 보이지만, 거리 및 가림에 더 민감하여 복잡한 환경에서 강건성이 떨어진다.
• mAP 측면에서 도메인 갭이 뚜렷하며, 사전학습된 모델을 주행 데이터셋에서 모바일 로봇 데이터셋으로 이식할 경우 미세조정 없이 성능 저하가 20% 이상 발생한다.
• 3D 검출기는 장면의 밀도 및 거리 변화에 대해 더 뛰어난 강건성을 보이며, 2m 이내의 단거리에서도 안정된 성능을 유지하는 반면, 2D 검출기는 이와 같은 조건에서 어려움을 겪는다.
• 모바일 로봇 데이터에 대한 미세조정은 검출 성능을 크게 향상시키며, 특히 주행 데이터셋에서 사전학습된 모델의 경우 도메인 특화 적응의 중요성을 입증한다.