[論文レビュー] Multisensor Online Transfer Learning for 3D LiDAR-based Human Classification with a Mobile Robot

Zhi Yan, Li Sun+2 more|arXiv (Cornell University)|Jan 12, 2018

Video Surveillance and Tracking Methods参考文献 24被引用数 6

ひとこと要約

本論文は、軌跡確率に基づく半教師あり学習メカニズムを通じて、RGB-Dカメラと2D LiDARDからの検出結果を活用することで、モバイルロボットが3D LiDARベースの人物分類器を段階的に改善できるオンラインでマルチセンサの転移学習フレームワークを提案する。このシステムは、時間経過に伴い複数のセンサのデータを統合することで分類精度を向上させ、統合されるセンサが増えるほど性能が向上する。

ABSTRACT

Human detection and tracking is an essential task for service robots, where the combined use of multiple sensors has potential advantages that are yet to be exploited. In this paper, we introduce a framework allowing a robot to learn a new 3D LiDAR-based human classifier from other sensors over time, taking advantage of a multisensor tracking system. The main innovation is the use of different detectors for existing sensors (i.e. RGB-D camera, 2D LiDAR) to train, online, a new 3D LiDAR-based human classifier, exploiting a so-called trajectory probability. Our framework uses this probability to check whether new detections belongs to a human trajectory, estimated by different sensors and/or detectors, and to learn a human classifier in a semi-supervised fashion. The framework has been implemented and tested on a real-world dataset collected by a mobile robot. We present experiments illustrating that our system is able to effectively learn from different sensors and from the environment, and that the performance of the 3D LiDAR-based human classification improves with the number of sensors/detectors used.

研究の動機と目的

• 実世界のモバイルロボティクスアプリケーションにおける3D LiDARベースの人物分類のためのラベル付きデータが限られるという課題に対処すること。
• 複数の補助センサからの検出結果をリアルタイムで活用し、3D LiDARベースの人物分類器を継続的に改善できること。
• 複数のセンサ間の軌跡の一貫性を活用して、半教師あり学習をガイドするフレームワークを開発すること。
• 実世界のロボットデータ上で、マルチセンサ知識転送の有効性を検証すること。

提案手法

• フレームワークは、補助センサ（RGB-D、2D LiDAR）からの新たな検出が、継続中の人物の軌跡に属する可能性があるかどうかを評価するための軌跡確率指標を用いる。
• 複数のセンサからの検出結果を活用して、オンラインで3D LiDARベースの人物分類器を学習する半教師あり学習戦略を採用する。
• 異なるセンサおよび検出器からの検出結果を統合し、軌跡の一貫性を用いて学習プロセスにおけるノイズや誤検出を低減する。
• モバイルロボットが実世界のデータを収集し、フレームワークを繰り返し適用することで、時間経過に伴い3D LiDAR分類器を段階的に改善する。
• 新しく観測された人物の軌跡を動的に更新することで、手動での再ラベル付けを必要とせずに一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 複数の補助センサからの検出結果を用いて、オンラインで段階的に3D LiDARベースの人物分類器を効果的に学習できるか？
• RQ2 複数のセンサを統合することで、単一センサベースラインと比較して、3D LiDARベースの人物分類の性能がどの程度向上するか？
• RQ3 軌跡確率指標は、マルチセンサ人物検出における半教師あり学習の信頼性をどの程度向上させるか？
• RQ4 参加するセンサの数が、3D LiDAR分類器の最終分類精度にどのように影響するか？

主な発見

• 提案されたフレームワークは、オンラインでマルチセンサの知識転送を実現することで、3D LiDARベースの人物分類器の性能を著しく向上させた。
• 分類精度は、学習プロセスに寄与するセンサの数が増えるに従い向上し、センサ統合の利点を示した。
• 軌跡確率の使用により、一貫性のないまたはノイズの多い検出をフィルタリングすることで、半教師あり学習の信頼性が顕著に向上した。
• 手動でのデータ再ラベル付けを必要とせず、新しい環境や人物行動に効果的に適応することができた。