[논문 리뷰] Multisensor Online Transfer Learning for 3D LiDAR-based Human Classification with a Mobile Robot

Zhi Yan, Li Sun외 2명|arXiv (Cornell University)|2018. 01. 12.

Video Surveillance and Tracking Methods참고 문헌 24인용 수 6

한 줄 요약

이 논문은 궤적 확률 기반의 준지도 학습 메커니즘을 통해 RGB-D 카메라와 2D LiDAR로부터의 검출 결과를 활용하여, 이동 로봇이 3D LiDAR 기반의 인간 분류기를 점진적으로 향상시킬 수 있도록 하는 온라인 다중 센서 전이 학습 프레임워크를 제안한다. 시스템은 시간이 지남에 따라 다중 센서 데이터를 융합함으로써 분류 정확도를 향상시키며, 통합되는 센서 수가 많을수록 성능이 향상된다.

ABSTRACT

Human detection and tracking is an essential task for service robots, where the combined use of multiple sensors has potential advantages that are yet to be exploited. In this paper, we introduce a framework allowing a robot to learn a new 3D LiDAR-based human classifier from other sensors over time, taking advantage of a multisensor tracking system. The main innovation is the use of different detectors for existing sensors (i.e. RGB-D camera, 2D LiDAR) to train, online, a new 3D LiDAR-based human classifier, exploiting a so-called trajectory probability. Our framework uses this probability to check whether new detections belongs to a human trajectory, estimated by different sensors and/or detectors, and to learn a human classifier in a semi-supervised fashion. The framework has been implemented and tested on a real-world dataset collected by a mobile robot. We present experiments illustrating that our system is able to effectively learn from different sensors and from the environment, and that the performance of the 3D LiDAR-based human classification improves with the number of sensors/detectors used.

연구 동기 및 목표

• 실제 이동 로봇 응용 분야에서 3D LiDAR 기반의 인간 분류에 대한 레이블이 부족한 문제를 해결하기 위해.
• 실시간으로 다수의 보조 센서의 검출 결과를 활용하여 3D LiDAR 기반의 인간 분류기를 지속적으로 개선할 수 있도록 하기 위해.
• 다양한 센서 간의 궤적 일관성을 활용하여 준지도 학습을 이끄는 프레임워크를 개발하기 위해.
• 실제 로봇 데이터에서 다중 센서 지식 전이의 효과성을 검증하기 위해.

제안 방법

• 프레임워크는 보조 센서(예: RGB-D, 2D LiDAR)로부터의 새로운 검출이 현재 진행 중인 인간의 궤적에 속할 가능성이 있는지를 평가하기 위해 궤적 확률 지표를 사용한다.
• 다양한 센서의 검출 결과를 활용하여 3D LiDAR 기반의 인간 분류기를 온라인으로 학습시키는 준지도 학습 전략을 적용한다.
• 다른 센서와 검출기로부터의 검출 결과를 융합하며, 궤적 일관성을 사용하여 학습 과정에서 노이즈와 오진을 줄인다.
• 이동 로봇이 실세계 데이터를 수집하고, 프레임워크는 반복적으로 적용되어 시간이 지남에 따라 3D LiDAR 분류기를 개선한다.
• 최신로 관측된 인간의 궤적을 동적으로 업데이트하여 수동 재라벨링이 필요 없이 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 보조 센서의 검출 결과를 온라인 및 점진적으로 활용하여 3D LiDAR 기반의 인간 분류기를 효과적으로 학습시킬 수 있는가?
• RQ2 단일 센서 기반의 기준과 비교했을 때, 다중 센서 통합이 3D LiDAR 기반의 인간 분류 성능을 얼마나 향상시키는가?
• RQ3 궤적 확률 지표가 다중 센서 인간 검출에서 준지도 학습의 신뢰성을 얼마나 향상시키는가?
• RQ4 기여하는 센서의 수가 3D LiDAR 분류기의 최종 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 온라인 다중 센서 지식 전이를 통해 3D LiDAR 기반의 인간 분류기 성능을 성공적으로 향상시켰다.
• 학습 과정에 기여하는 센서 수가 많아질수록 분류 정확도가 향상되어 센서 융합의 이점이 입증되었다.
• 궤적 확률의 사용은 일관성 없거나 노이즈가 많은 검출을 걸러내어 준지도 학습의 신뢰성을 크게 향상시켰다.
• 수동 라벨링 없이도 새로운 환경과 인간 행동에 효과적으로 적응하는 데 성공했다.