[論文レビュー] Human Following for Wheeled Robot with Monocular Pan-tilt Camera

Zheng Zhu, Hongxuan Ma+1 more|arXiv (Cornell University)|Sep 13, 2019

Video Surveillance and Tracking Methods参考文献 61被引用数 4

ひとこと要約

本稿では、人間の身長制約と統合制御器を活用することで深度センサを不要とする、2輪移動ロボット向けの単眼パン・チルトカメラベースの人物追従システムを提示する。このシステムは、Siameseネットワークと光流を組み合わせた堅牢な視覚追跡（FlowTrack++）を採用し、リアルタイムかつ高精度なターゲット局在化と運動制御を実現し、シミュレーションおよび実世界の実験において安定した追従を達成し、最小限の追跡誤差を実現した。

ABSTRACT

Human following on mobile robots has witnessed significant advances due to its potentials for real-world applications. Currently most human following systems are equipped with depth sensors to obtain distance information between human and robot, which suffer from the perception requirements and noises. In this paper, we design a wheeled mobile robot system with monocular pan-tilt camera to follow human, which can stay the target in the field of view and keep following simultaneously. The system consists of fast human detector, real-time and accurate visual tracker, and unified controller for mobile robot and pan-tilt camera. In visual tracking algorithm, both Siamese networks and optical flow information are exploited to locate and regress human simultaneously. In order in perform following with a monocular camera, the constraint of human height is introduced to design the controller. In experiments, human following are conducted and analysed in simulations and a real robot platform, which demonstrate the effectiveness and robustness of the overall system.

研究の動機と目的

• 深度センサに依存しない人間追従システムの開発により、ハードウェアの複雑さとノイズへの感受性を低減すること。
• ターゲットの画像高さを事前に定義された定数に近づけることで、一貫性のある追従を維持しつつ、カメラの視野内に人物ターゲットを保持すること。
• 単眼視覚と人間の身長制約を用いて、ロボットの運動とパン・チルトカメラの動きを統合制御する制御器の設計。
• 新規の視覚追跡器（FlowTrack++）を用いて、遮蔽、スケール変化、背景の変化に対して追跡の堅牢性を向上させること。

提案手法

• 高速なYOLOベースの検出器が最初のフレームで人間のバウンディングボックスを初期化する。
• FlowTrack++視覚追跡器は、Siameseネットワークと光流を統合し、リアルタイムでターゲットの位置と回帰を同時に実行する。
• ハードネガティブマーチングを適用して、誤検出要因への応答を抑制し、追跡の安定性を向上させる。
• 遮蔽や視界外の状況に対処するための障害回復戦略を実装する。
• 画像ベースの誤差信号（e_u, e_v, e_v2）と身長制約（h ≈ H）を用いて、統合制御器がロボット速度（V_r）と角速度（ω_r）、ならびにパン/チルト角度（α, β）を生成する。
• 既知の人体高（1.8m）を活用して、単眼画像の高さから距離を推定し、深度センサを用いずに距離を考慮した制御を実現する。

実験結果

リサーチクエスチョン

• RQ1 深度センサを用いずに、動的環境下で単眼カメラシステムが人間ターゲットを効果的に追跡できるか？
• RQ2 単眼画像フィードバックと人間の身長制約のみを用いて、ロボットの運動とパン・チルトカメラの制御を統合する制御器をどのように設計できるか？
• RQ3 Siameseネットワークと光流を組み合わせることで、遮蔽やスケール変化下での追跡の堅牢性がどの程度向上するか？
• RQ4 実世界の人物追従シナリオにおいて、提案されたFlowTrack++トレッカーはECOおよびGOTURNに比べてどのように優れているか？

主な発見

• シミュレーションでは、ターゲットが円運動を描く場合でも、制御器が画像中央にターゲットを安定して維持し、画像高さh ≈ 100ピクセルを維持し、滑らかなロボット軌道を達成した。
• 屋内実験では、FlowTrack++はターゲット高さhを約500ピクセルに維持し、e_uとe_vが常にゼロに近づいたが、ECOとGOTURNは顕著な変動を示した。
• 屋外実験では、FlowTrack++はe_uとe_vを±20ピクセルの範囲に維持し、hを約300ピクセルに保った。これは、照明の変化や背景のごみといった実世界の課題に対しても堅牢であることを示している。
• FlowTrack++は、光流の集約とハードネガティブマーチング機構のおかげで、ポーズの変化、スケール変化、遮蔽、誤検出要因に対しても効果的に対処した。
• 障害回復戦略により、遮蔽後にターゲットを素早く再取得でき、追跡のずれを低減し、システムの信頼性を向上させた。