[論文レビュー] Deep Person Detection in 2D Range Data

Lucas Beyer, Alexander Hermans+3 more|arXiv (Cornell University)|Apr 6, 2018

Human Pose and Action Recognition参考文献 14被引用数 5

ひとこと要約

この論文は、DROW深層学習検出器を2次元レーザー距離データにおける人物検出に拡張し、信頼度スコアと検出位置のための改善された後処理を導入するとともに、小さな時間窓を用いたオンライン時間的文脈の統合を実現した。本手法は、新たに公開された大規模な実世界データセットにおいて、最も強力なベースライン比でAUCが10.3%向上し、最先端の性能を達成した。

ABSTRACT

Detecting humans is a key skill for mobile robots and intelligent vehicles in a large variety of applications. While the problem is well studied for certain sensory modalities such as image data, few works exist that address this detection task using 2D range data. However, a widespread sensory setup for many mobile robots in service and domestic applications contains a horizontally mounted 2D laser scanner. Detecting people from 2D range data is challenging due to the speed and dynamics of human leg motion and the high levels of occlusion and self-occlusion particularly in crowds of people. While previous approaches mostly relied on handcrafted features, we recently developed the deep learning based wheelchair and walker detector DROW. In this paper, we show the generalization to people, including small modifications that significantly boost DROW's performance. Additionally, by providing a small, fully online temporal window in our network, we further boost our score. We extend the DROW dataset with person annotations, making this the largest dataset of person annotations in 2D range data, recorded during several days in a real-world environment with high diversity. Extensive experiments with three current baseline methods indicate it is a challenging dataset, on which our improved DROW detector beats the current state-of-the-art.

研究の動機と目的

• サービスロボットや自動運転車両で一般的なセンサーモダリティである疎な2次元レーザー距離データにおける人物検出の課題に対処すること。
• 遮蔽や衣服の変化の下で失敗する、ハンドクラフト特徴ベースの手法や二本脚追跡の仮定に起因する制限を克服すること。
• 2次元距離スキャンから人物、車椅子、歩行補助具を同時に検出可能な深層学習ベースのマルチクラス検出器（DROW）を構築すること。
• 強化された後処理とオンライン時間的文脈の統合を通じて、検出性能を向上させること。
• 実世界環境で収集された2次元距離データにおける人物アノテーションを含む、これまでで最大の公開可能なデータセットを構築・公開すること。

提案手法

• DROW検出器を拡張し、新しい人物クラスを追加し、2次元距離スキャン向けのエンドツーエンド学習フレームワークを維持すること。
• 元々の投票ベースの後処理を改善し、検出毎の信頼度推定を可能にするとともに、量子化アーチファクトを低減すること。
• 特徴表現能力を向上させるために、畳み込みニューラルネットワーク（CNN）のアーキテクチャをわずかに拡大すること。
• 複数の最新のレーザースキャンを一括処理できる完全なオンライン時間窓を導入すること。
• 別個の追跡モジュールを避けるために、ネットワーク内での空間的および時間的情報の早期統合戦略を採用すること。
• オドメトリを用いた時間的整合性を活かし、現在のスキャンと数フレーム前のスキャンを単純ながらも効果的な統合機構で組み合わせること。

実験結果

リサーチクエスチョン

• RQ1 DROWのような深層学習ベースの検出器は、元来車椅子や歩行補助具に焦点を当てていたが、2次元距離データにおける人物検出にも効果的に一般化可能か？
• RQ2 最近のレーザースキャンからの時間的文脈の統合は、疎に表現された人物の検出性能をどのように向上させるか？
• RQ3 信頼度推定とより細かい局所化を可能にする改善された後処理は、元のDROW投票方式を上回る性能を発揮するか？
• RQ4 実世界で多様な条件を含む大規模なデータセット上で、本手法は最先端のハンドクラフト特徴ベースおよび追跡ベースのベースラインと比較してどの程度優れているか？
• RQ5 時間的文脈の統合は、2次元距離データからの人物検出における疎らさと遮蔽の課題をどの程度軽減できるか？

主な発見

• 拡張されたDROW検出器は、新規データセットにおいて最も強力なベースライン比でAUCが10.3%絶対値で向上し、新たな最先端性能を確立した。
• 改善された後処理により、意味のある信頼度スコアが得られ、検出の量子化アーチファクトが低減され、より正確で信頼性の高い予測が可能になった。
• 最近のスキャンを含む小さなオンライン時間窓を統合することで、性能が顕著に向上し、特に人物および歩行補助具の検出において、時間的モデリングの価値が示された。
• より厳しい局所化基準（0.3 m半径）でも、カルマンフィルタに起因する遅延に苦しむ脚追跡ベースラインを上回る強力な性能を維持した。
• 1,000フレームを超えるアノテーションが付与され、多様な実世界の条件を含む本データセットは、2次元距離データにおける人物検出の分野でこれまでで最大の公開可能なデータセットである。
• Hyperoptによるハイパーパramータチューニングで直感的でない値が得られたが、モデルは依然として頑健であったことから、強力な一般化能力と適応性が示された。