[論文レビュー] Domain and Modality Gaps for LiDAR-based Person Detection on Mobile Robots.

Dan Jia, Alexander Hermans+1 more|arXiv (Cornell University)|Jun 21, 2021

Video Surveillance and Tracking Methods参考文献 34被引用数 8

ひとこと要約

本稿は、移動型ロボット向けLiDARベースの人物検出におけるドメインおよびモodalitiyギャップを調査し、JackRabbotデータセットを用いて最新の3次元（CenterPoint）および2次元（DR-SPAAM）検出器の性能を評価している。ドライビングデータセットで事前学習されたモデルは、近距離で動的な移動型ロボットのシナリオへの一般化が著しく劣っており、計算コストが高いために3次元検出器は2次元検出器よりも精度と耐性において優れていることが判明した。

ABSTRACT

Person detection is a crucial task for mobile robots navigating in human-populated environments and LiDAR sensors are promising for this task, given their accurate depth measurements and large field of view. This paper studies existing LiDAR-based person detectors with a particular focus on mobile robot scenarios (e.g. service robot or social robot), where persons are observed more frequently and in much closer ranges, compared to the driving scenarios. We conduct a series of experiments, using the recently released JackRabbot dataset and the state-of-the-art detectors based on 3D or 2D LiDAR sensors (CenterPoint and DR-SPAAM respectively). These experiments revolve around the domain gap between driving and mobile robot scenarios, as well as the modality gap between 3D and 2D LiDAR sensors. For the domain gap, we aim to understand if detectors pretrained on driving datasets can achieve good performance on the mobile robot scenarios, for which there are currently no trained models readily available. For the modality gap, we compare detectors that use 3D or 2D LiDAR, from various aspects, including performance, runtime, localization accuracy, robustness to range and crowdedness. The results from our experiments provide practical insights into LiDAR-based person detection and facilitate informed decisions for relevant mobile robot designs and applications.

研究の動機と目的

• 移動型ロボットのシナリオにおける既存のLiDARベースの人物検出器の性能を評価すること。これは、従来のドライビング環境とは顕著に異なる。
• ドライビングデータセットで事前学習された検出器を移動型ロボットのデータに適用することで、ドライビングと移動型ロボットのシナリオの間のドメインギャップを調査すること。
• 近距離で混雑し、動的な移動型ロボット環境における3次元と2次元LiDARベースの検出器の性能、精度、耐性を比較すること。
• 現在のLiDAR検出アプローチの主な制限と利点を特定することで、移動型ロボットの設計および導入に実用的な知見を提供すること。

提案手法

• 近距離で動的な人間の相互作用を特徴とする移動型ロボット環境に典型的な、最近リリースされたJackRabbotデータセットを用いて、最新の3次元（CenterPoint）および2次元（DR-SPAAM）LiDARベースの人物検出器の評価。
• ドライビングデータセットで事前学習されたモデルを移動型ロボットデータに適用する際のゼロショットおよびファインチューニング性能を評価するために、JackRabbotデータセット上で検出器の学習と推論を実施。
• 3次元と2次元LiDARモダリティ間の検出性能、局所化精度、推論速度、距離およびシーン密度に対する耐性についての定量的比較。
• ドライビングデータセットで学習されたモデルを移動型ロボットのシナリオに適用した際の性能低下を測定することで、ドメインシフトの影響を分析。
• 3次元と2次元LiDAR表現間の感度差、遮蔽、距離、センサ解像度の違いに特化した挙動に関するアブレーションスタディ。
• mAP、精度、再現率などの標準的な検出指標とランタイム測定を用いて、精度と効率のトレードオフを評価。

実験結果

リサーチクエスチョン

• RQ1 ドライビングデータセットで事前学習されたLiDARベースの人物検出器は、近距離で動的な人間の相互作用を示す移動型ロボットのシナリオにどの程度一般化できるか？
• RQ2 環境条件が変化する中で、3次元LiDAR検出器は2次元LiDAR検出器と比較して、検出精度、局所化精度、耐性においてどのように異なるか？
• RQ3 推論速度および距離や混雑度への感受性を含め、移動型ロボットアプリケーションにおける3次元と2次元LiDARモダリティの主な性能トレードオフは何か？
• RQ4 ドライビングと移動型ロボットのシナリオの間のドメインギャップは、LiDARベースの人物検出においてどの程度顕著であり、モデルの移行および展開にどのような意味を持つのか？

主な発見

• ドライビングデータセットで事前学習された検出器は、移動型ロボットのシナリオに適用した際、顕著な性能低下を示しており、顕著なドメインギャップがあることが判明した。
• 3次元LiDARベースの検出器（例：CenterPoint）は、2次元検出器（例：DR-SPAAM）よりも高い検出精度と優れた局所化精度を達成しており、特に混雑し、近距離の状況で顕著である。
• 2次元LiDAR検出器は高速な推論速度を示すが、距離および遮蔽に対して感受性が高く、複雑な環境では耐性が低下する。
• mAPの観点からドメインギャップは顕著であり、ファインチューニングを行わずにドライビングデータセットから移動型ロボットデータセットにモデルを移行した際、性能低下が20％を超えることが判明した。
• 3次元検出器はシーン密度および距離の変動に対して優れた耐性を示し、短距離（2m未塔）でも安定した性能を維持する。一方、2次元検出器はこの範囲で困難を示す。
• 移動型ロボットデータでのファインチューニングは、特にドライビングデータで事前学習されたモデルの検出性能を顕著に向上させ、ドメイン特化の適応の重要性を強調している。