[論文レビュー] Peeking into the Future: Predicting Future Person Activities and Locations in Videos

Junwei Liang, Lu Jiang+3 more|arXiv (Cornell University)|Feb 11, 2019

Video Surveillance and Tracking Methods被引用数 33

ひとこと要約

本論文は Precog を提案し、動画中の将来の人物軌跡と活動を予測。ActEV/VIRAT および ETH & UCY ベンチマークで評価し、単一モデルの変種が複数の軌跡および活動指標で最近傍ベースラインを上回る。

ABSTRACT

Deciphering human behaviors to predict their future paths/trajectories and what they would do from videos is important in many applications. Motivated by this idea, this paper studies predicting a pedestrian's future path jointly with future activities. We propose an end-to-end, multi-task learning system utilizing rich visual features about human behavioral information and interaction with their surroundings. To facilitate the training, the network is learned with an auxiliary task of predicting future location in which the activity will happen. Experimental results demonstrate our state-of-the-art performance over two public benchmarks on future trajectory prediction. Moreover, our method is able to produce meaningful future activity prediction in addition to the path. The result provides the first empirical evidence that joint modeling of paths and activities benefits future path prediction.

研究の動機と目的

• observed video sequences から将来の人間軌跡と活動を予測するモデルを開発する。
• ActEV/VIRAT および ETH & UCY ベンチマークを活用して軌跡タイプと注釈の豊富さを分析する。
• 軌跡と活動予測における単一モデルと最近傍ベースラインを比較評価する。
• 将来予測の成功事例と失敗事例を示す定性的分析を提供する。

提案手法

• さまざまな初期化で Precog モデルを訓練して単一出力の予測を生成する。
• 移動軌跡と静止軌跡を特徴づけ、変位統計を定量化する。
• 将来軌跡の予測性を評価するため最近傍ベースラインと比較する。
• ActEV/VIRAT と ETH & UCY のデータセットサイズ、注釈、およびマルチタスクの可能性を比較する。
• 予測軌跡と将来の活動の定性的な可視化（ヒートマップとキーポイントテンプレート）を用いる。

実験結果

リサーチクエスチョン

• RQ1 観測シーケンスから単一の Precog モデルが将来の人間の軌跡と活動を安定して予測できるか。
• RQ2 ActEV/VIRAT は ETH & UCY と比較してデータセットの規模、注釈、軌道予測のマルチタスクの可能性においてどうか。

主な発見

指標	最近傍法	私たちの単一モデル
ADE	40.04	17.99 ± 0.043
FDE	73.69	37.24 ± 0.102
move_ADE	39.52	20.34 ± 0.059
move_FDE	72.67	42.54 ± 0.146

• ActEV/VIRAT において、単一モデルアプローチは最近傍ベースラインよりも ADE/FDE が大幅に低い（ADE 17.99 ±0.043 vs 40.04; FDE 37.24 ±0.102 vs 73.69）。
• move-trajectory 指標も単一モデルで類似の改善を示す（move_ADE 20.34 ±0.059 vs 39.52; move_FDE 42.54 ±0.146 vs 72.67）。
• ActEV/VIRAT は境界ボックスと活動注釈を提供しマルチタスク学習を可能にする。一方 ETH & UCY は人物座標のみを提供。
• ActEV/VIRAT データセットはより大規模で多様な活動注釈を含み、軌跡予測を目的指向的にしている。