[論文レビュー] Multiple Human Tracking using Multi-Cues including Primitive Action Features

Hitoshi Nishimura, Kazuyuki Tasaka+2 more|arXiv (Cornell University)|Sep 18, 2019

Video Surveillance and Tracking Methods参考文献 26被引用数 4

ひとこと要約

本論文では、外見および運動の特徴に加えて原始的行動特徴（PAF）を統合することで、動的空中動画における追跡精度を向上させる複数人の追跡手法MHT-PAFを提案する。PAFはグローバルな文脈、多ラベル行動意味論、中レベル特徴を捉えることで、ID入れ替えや誤検出を低減し、Okutama-Actionデータセットにおいてベースライン手法よりも2.23 MOTA向上を達成した。

ABSTRACT

In this paper, we propose a Multiple Human Tracking method using multi-cues including Primitive Action Features (MHT-PAF). MHT-PAF can perform the accurate human tracking in dynamic aerial videos captured by a drone. PAF employs a global context, rich information by multi-label actions, and a middle level feature. The accurate human tracking result using PAF helps multi-frame-based action recognition. In the experiments, we verified the effectiveness of the proposed method using the Okutama-Action dataset. Our code is available online.

研究の動機と目的

• サイズの変化、アスペクト比の変化、カメラの動きによる要因により、動的空中動画における複数人の追跡が不正確になるという課題に対処すること。
• データ連携に行動の手がかりを組み込むことで、ドローンで撮影された動画で一般的な誤検出やID入れ替えを低減すること。
• 原始的行動特徴の活用によって人間の追跡精度を向上させることで、複数フレームに基づく行動認識を改善すること。
• グローバルな文脈と多ラベルラベル付けを備えた中レベルの行動特徴が、従来の外見および位置情報のみの特徴を上回ることを示すこと。

提案手法

• 外見、運動、および原始的行動特徴（PAF）を統合したマルチケーブル追跡フレームワークを提案し、データ連携に用いる。
• PAFの設計において、空間的文脈を得るためのグローバルクロップド画像を用いることで、人間と物体、人間同士の相互作用の認識を可能にする。
• 単一ラベル認識よりも豊かな行動情報を抽出できるように、多ラベル行動アノテーションを活用する。
• 最終的な行動クラスではなく中レベルの特徴表現を用いることで、行動検出におけるフレームレベルの曖昧さを低減する。
• RGBとオプティカルフロー特徴を組み合わせるラテナル融合戦略を用いて、PAFを検出に基づく追跡パイプラインに統合する。
• データ連携のコストフローを最小化する追跡フレームワークを採用することで、遮蔽や運動に対するロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 高動的レンジとカメラの動きを伴う空中動画において、原始的行動特徴（PAF）が追跡精度を向上させることができるか？
• RQ2 PAFにグローバルな文脈と多ラベル行動情報を取り入れることで、データ連携性能にどのような影響を与えるか？
• RQ3 外見および位置情報のみの追跡ベースラインと比較して、PAFがID入れ替えや誤検出をどの程度低減するか？
• RQ4 向上した人間の追跡精度が、複数フレームに基づく行動検出性能に測定可能な向上をもたらすか？
• RQ5 追跡が向上した場合に、行動認識のための最適な特徴タイプの組み合わせ（局所/グローバル、単一/複数フレーム）は何か？

主な発見

• MHT-PAFはMCFベースラインに対して2.23 MOTA向上を達成した（MOTA：22.94 対 20.45）、追跡精度の顕著な向上を示した。
• ID入れ替えの数は110件減少（1875 から 1833 へ）、再現率を維持したまま精度が2.51ポイント向上した。
• PAF統合による追跡品質の向上により、行動検出mAPが0.57ポイント向上（11.97 から 12.54 へ）した。
• 複数フレームベースの行動認識と局所＋グローバルクロップド画像の組み合わせが、最高の行動認識精度（47.80）を達成した。
• PAFにおけるグローバル文脈の活用により、持ち運びや押すなどの相互作用ベースの行動認識精度が3.06ポイント向上（42.88 から 45.94 へ）した。
• 局所画像では複数フレームベース認識が単一フレーム認識よりも2.21ポイント向上（45.09 対 42.88）、局所＋グローバル画像では1.86ポイント向上（47.80 対 45.94）した。