[論文レビュー] Ego-Downward and Ambient Video based Person Location Association

Liang Yang, Hao Jiang+2 more|arXiv (Cornell University)|Dec 2, 2018

Video Surveillance and Tracking Methods参考文献 28被引用数 4

ひとこと要約

本論文は、エゴダウンワード視点と第三人称静止カメラの視点を用いたクロスビュー人物局在化およびトラッキングのための、新たな行動およびモーション特徴に基づくモデルを提案する。3次元ポーズ推定と時空間整合性を活用することで、ベースラインモデル比で18.32%の精度向上を達成し、複数人状況では74.22%の検証精度および67.767%の平均精度を達成した。これにより、遮蔽や類似した外見に対しても頑健であることが示された。

ABSTRACT

Using an ego-centric camera to do localization and tracking is highly needed for urban navigation and indoor assistive system when GPS is not available or not accurate enough. The traditional hand-designed feature tracking and estimation approach would fail without visible features. Recently, there are several works exploring to use context features to do localization. However, all of these suffer severe accuracy loss if given no visual context information. To provide a possible solution to this problem, this paper proposes a camera system with both ego-downward and third-static view to perform localization and tracking in a learning approach. Besides, we also proposed a novel action and motion verification model for cross-view verification and localization. We performed comparative experiments based on our collected dataset which considers the same dressing, gender, and background diversity. Results indicate that the proposed model can achieve $18.32 \%$ improvement in accuracy performance. Eventually, we tested the model on multi-people scenarios and obtained an average $67.767 \%$ accuracy.

研究の動機と目的

• GPSが利用できない環境（屋内や都市部など）における人物局在化およびトラッキングの課題に対処すること。
• 低テクスチャまたは遮蔽環境において従来の特徴ベースのトラッキングが失敗するのを防ぐために、モーションおよびアクションの手がかりを活用すること。
• 視野が限定されておりポーズのばらつきが大きいことから、本質的に困難なエゴダウンワード視点と第三人称静止カメラ間のクロスビュー検証を改善すること。
• 実世界の多様な外見、背景、および動きのパターンに一般化可能な、頑健な学習ベースのシステムを開発すること。

提案手法

• エゴダウンワードおよび第三人称視点の動画シーケンスにわたり、連続的な人物検出を維持するためにYOLOベースのトラッカーを用いる。
• エゴ視点および第三人称視点の両方のデータに対して3次元人体ポーズ推定を実行し、空間的整合性とモーションモデリングを可能にする。
• ポーズとモーションを主な信号として用い、クロスビュー検証のための行動およびモーション特徴を学習する、共同時空間シアンプスネットワークを設計する。
• エゴ視点のモーションおよびトランスレーション特徴と第三人称視点のオドメトリを統合することで、マルチモーダル特徴統合により局在化精度を向上させる。
• 特に複数人および交差状況においては、速度予測を組み込んだベイズフィルタを適用して検証出力を精緻化する。
• 短い動画クリップをオンラインで処理することで、視点間の幾何学的およびモーションの一貫性を活用し、リアルタイム推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 類似した服装や遮蔽によって視覚的外見が信頼できない状況下でも、行動およびモーション特徴のみで正確なクロスビュー人物局在化が可能か？
• RQ2 3次元ポーズ推定の統合が、エゴダウンワード視点と第三人称カメラ視点間の整合性および検証性をどのように向上させるか？
• RQ3 エゴ視点のモーションと第三人称視点のオドメトリの両者が、局在化精度の向上に果たす相対的な貢献度はどの程度か？
• RQ4 複数人での相互作用や身体ポーズの類似性といった困難な状況下でのモデルの性能はいかがなものか？
• RQ5 視覚的文脈に依存せず、多様な背景、服装、動きのパターンに一般化できるか？

主な発見

• 提案されたETVVTモデルは、74.22%の検証精度を達成し、ベースラインモデル比で18.32%の向上を示した。
• 行動モデルはモーションモデルを上回り、72.5%の精度を達成した一方でモーションモデルは70.03%であった。これは、ポーズに基づく行動認識がモーション特徴のみに比べてより識別性に優れていることを示している。
• 第三人称視点のトランスレーション特徴の統合により、検証精度が79.05%から81.80%に向上した。これは、第三人称視点のモーション手がかりがエゴ視点のオドメトリよりも信頼性が高いことを示している。
• 複数人状況では平均で67.767%の精度を達成したが、交差しない状況では高い性能を示し、グループの交差時には部分的遮蔽のため精度が低下した。
• ベイズフィルタは低複雑度状況で顕著な改善をもたらし、2人非交差状況では最大96.17%の精度を達成した。
• 複数人の人物が同一の行動と外見を持つ場合、モデルは誤動作を示し、同一の動きパターンを区別できないという限界が明らかになった。