[論文レビュー] Future Person Localization in First-Person Videos

Takuma Yagi, Karttikeya Mangalam+2 more|arXiv (Cornell University)|Nov 30, 2017

Video Surveillance and Tracking Methods参考文献 33被引用数 5

ひとこと要約

本論文は、第一人称動画における未来の人間の局所化を提示し、自己移動、スケールの手がかり、および人物のポーズを活用するマルチストリーム畳み込み・デコンボリューションネットワークを提案する。この手法は、新規の第一人称移動（FPL）データセットおよび公開の社会的相互作用データセットの両方で最先端の性能を達成し、トラジェクトリ予測精度において従来の方法（例：Social LSTM）を上回っている。

ABSTRACT

We present a new task that predicts future locations of people observed in first-person videos. Consider a first-person video stream continuously recorded by a wearable camera. Given a short clip of a person that is extracted from the complete stream, we aim to predict that person's location in future frames. To facilitate this future person localization ability, we make the following three key observations: a) First-person videos typically involve significant ego-motion which greatly affects the location of the target person in future frames; b) Scales of the target person act as a salient cue to estimate a perspective effect in first-person videos; c) First-person videos often capture people up-close, making it easier to leverage target poses (e.g., where they look) for predicting their future locations. We incorporate these three observations into a prediction framework with a multi-stream convolution-deconvolution architecture. Experimental results reveal our method to be effective on our new dataset as well as on a public social interaction dataset.

研究の動機と目的

• 混雑した環境において衝突回避が重要な状況においても、第一人称動画ストリームにおける人々の未来の位置を予測する課題に対処すること。
• 自己移動、視覚的スケーリング、人間のポーズといった動的視覚的手がかりを効果的にモデル化することで、未来の局所化を向上させること。
• 第一人称トラジェクトリ予測分野の研究を支援するため、新規のベンチマークデータセット「First-Person Locomotion (FPL)」を構築すること。
• 視覚障害者向けの支援技術を実現し、未来の人間の局所化を通じてリアルタイムのナビゲーションガイダンスを提供すること。

提案手法

• 本手法は、動画フレームから抽出された自己移動、スケール、ポーズ特徴量の時間的ダイナミクスを符号化するため、マルチストリーム畳み込み・デコンボリューションアーキテクチャを採用する。
• 自己移動は、カメラ被験者の動きを捉えるためにオプティカルフローを用いてモデル化され、これがシーン内の人物の外見的運動に顕著な影響を与える。
• 左脚と右脚の股関節間の距離の正規化から得られるスケール手がかりは、視覚的効果と奥行きの変化を推定するために用いられる。
• ポーズ情報は、股関節や肩などのキーポイントの位置から抽出され、移動方向と未来の軌跡を推定するために利用される。
• ネットワークは1秒間の特徴量履歴（10フレーム、10 fps）を処理し、1秒先のターゲット人物の位置を予測する。
• 空間的・時間的整合性を保つために、適切なカーネルサイズとデコンボリューション層が用いられる。

実験結果

リサーチクエスチョン

• RQ1 第一人称動画における自己移動を的確に活用することで、未来の人間の局所化精度が向上するか？
• RQ2 スケールの変動と視覚的効果が、第一人称視点における未来の人間の位置予測にどのように影響するか？
• RQ3 視線の方向や身体の向きといったポーズ情報（例：視線方向、身体の向き）が、第一人称動画シーケンスにおける未来の軌跡予測にどの程度向上効果をもたらすか？
• RQ4 単一の第一人称カメラで十分な未来の人間の局所化が可能か、それとも複数カメラの同期が必要か？
• RQ5 本手法は、複雑な環境においても一般化性と頑健性に優れる既存の最先端モデル（例：Social LSTM）と比較して、どのように性能を発揮するか？

主な発見

• FPLデータセットにおいて、本手法は2秒先の予測で最終的距離誤差（FDE）が124.85を達成し、Social LSTMのFDE（223.16）を顕著に上回った。
• Social Interaction Datasetでは、入力特徴量（X_in + E_in + P_in）を統合した際、FDEが125.42に低下したのに対し、Social LSTMは299.81であった。
• アブレーションスタディの結果、外見的特徴や運動特徴のみを用いる場合と比較して、自己移動（E_in）およびポーズ（P_in）特徴を組み込むことで一貫した性能向上が確認された。
• 定性的な結果から、屋内および屋外の多様な環境においても、モデルが頑健であることが示された。
• より長い入力シーケンス（T_prev = 10）は、短いもの（T_prev = 6）よりも性能が向上しており、時間的文脈が予測の安定性を向上させることを示している。
• 複雑な自己移動シナリオ（例：歩行者が避けるためにカメラ被験者が方向転換する場合）でさえも、ベースラインを上回る性能を示したが、極めて動的な状況ではわずかな性能低下が観察された。