[論文レビュー] Automatic Adaptation of Person Association for Multiview Tracking in Group Activities

Minh Vo, Ersin Yumer+4 more|arXiv (Cornell University)|May 22, 2018

Video Surveillance and Tracking Methods参考文献 45被引用数 4

ひとこと要約

本論文では、動きの追跡、相互排他性、マルチビュー幾何学を用いて、ラベルなしマルチビュー動画シーケンスに一般化された人物の外見記述子を自己教師付きで適応させるフレームワークを提案する。これにより、複雑なグループ活動における頑健な人物関連付けと3次元スケルトン追跡が可能になる。本手法は、WILDTRACKおよび新規のwildsceneデータセットにおいて、ベースライン手法と比較して最高で18%高い関連付け精度と、5〜10倍高い3次元追跡の安定性を達成する。

ABSTRACT

Reliable markerless motion tracking of people participating a complex group activity from multiple moving cameras is challenging due to frequent occlusions, strong viewpoint and appearance variations, and asynchronous video streams. To solve this problem, reliable association of the same person across distant viewpoints and temporal instances is essential. We present a self-supervised framework to adapt a generic person appearance descriptor to the unlabeled videos by exploiting motion tracking, mutual exclusion constraints, and multi-view geometry. The adapted discriminative descriptor is used a tracking-by-clustering formulation. We validate the effectiveness of our descriptor learning on WILDTRACK [14] and three new complex social scenes captured by multiple cameras with up to 60 people in the wild. We report significant improvement association accuracy (up to 18%) and stable and coherent 3D human skeleton tracking (5 to 10 times) over the baseline. Using the reconstructed 3D skeletons, we cut the input videos into a multi-angle video where the image of a specified person is shown from the best visible front-facing camera. Our algorithm detects inter-human occlusion to determine the camera switching moment while still maintaining the flow of the action well.

研究の動機と目的

• 頻繁な隠蔽と視点の変化が生じる複雑なグループ活動において、複数のカメラ間で信頼性の高い人物関連付けを実現すること。
• 最大60人の人物が存在する非構造的で現実世界の環境において、頑健な3次元人間スケルトン追跡を可能にすること。
• 手動アノテーションを一切用いずに、ラベルなしマルチビュー動画に一般化された外見記述子を適応させる自己教師付き手法を開発すること。
• 人物間の隠蔽を検出することで、最適なカメラ視点に動的に切り替えながら、行動の連続性を保つこと。
• 追跡の整合性と精度を、非同期的かつ移動するカメラ環境で、識別的な記述子の適応によって向上させること。

提案手法

• 複数のカメラ間で初期の人物トラジェクトリを生成するために、動きの追跡を活用する。
• 1人1人が1地点に存在することを強制する相互排他制約を適用し、誤った関連付けを低減する。
• 一貫性のある3次元再構成と視点間対応の検証を可能にするために、マルチビュー幾何学を用いる。
• 追跡の整合性と幾何的整合性を教師信号として用い、自己教師付きで一般化された外見記述子を適応させる。
• 適応された記述子を用いたクラスタリングによる追跡フレームワークを採用し、一貫性のある人物トラックを形成する。
• 人物間の隠蔽を検出し、最良の前面視点となるカメラに切り替えるトリガーを発動する。

実験結果

リサーチクエスチョン

• RQ1 大きな視点変化や外見の変化がある複数のカメラ間で、どのようにして人物関連付けを信頼性高く維持できるか？
• RQ2 手動アノテーションを一切用いずに、一般化された外見記述子を複雑な現実世界のシーンに適応できる範囲はどの程度か？
• RQ3 動きの追跡と幾何的制約を併用することで、マルチビュー追跡における人物記述子の識別性をどの程度向上できるか？
• RQ4 本手法は、ベースラインと比較して、関連付け精度と3次元追跡の安定性において、どの程度の性能を示すか？
• RQ5 隠蔽検出に基づく動的カメラ切り替えは、行動の流れを保持しつつ、視認性を向上させることができるか？

主な発見

• 提案手法は、WILDTRACKデータセットおよび新たな複雑な社会的シーンにおいて、ベースラインと比較して最大18%高い人物関連付け精度を達成した。
• 3次元人間スケルトン追跡の安定性がベースライン比5〜10倍向上し、時間的整合性の向上が示された。
• 自己教師付きの記述子適応は、現実世界の制約のない環境における強い視点変化や外見変化に対しても効果的に対処できた。
• システムは人物間の隠蔽を正しく検出し、最良の可視カメラ視点に切り替え、行動の連続性を維持した。
• 最大60人の人物が存在するシーンに対しても一般化がうまくいき、高密度なグループ活動においても頑健であることが示された。
• 適応された記述子を用いたクラスタリングによる追跡フレームワークは、複数の視点にわたる一貫性があり、整合性のある人物トラジェクトリを生成した。