[論文レビュー] Pedestrian Action Anticipation using Contextual Feature Fusion in Stacked RNNs

Amir Rasouli, Iuliia Kotseruba+1 more|arXiv (Cornell University)|May 13, 2020

Autonomous Vehicle Technology and Safety被引用数 65

ひとこと要約

五層のスタック型GRUアーキテクチャ（SF-GRU）を導入し、複数モーダルの文脈特徴を統合して横断歩道横断予測を行い、複数のRNNベースラインに対して精度が優れている。

ABSTRACT

One of the major challenges for autonomous vehicles in urban environments is to understand and predict other road users' actions, in particular, pedestrians at the point of crossing. The common approach to solving this problem is to use the motion history of the agents to predict their future trajectories. However, pedestrians exhibit highly variable actions most of which cannot be understood without visual observation of the pedestrians themselves and their surroundings. To this end, we propose a solution for the problem of pedestrian action anticipation at the point of crossing. Our approach uses a novel stacked RNN architecture in which information collected from various sources, both scene dynamics and visual features, is gradually fused into the network at different levels of processing. We show, via extensive empirical evaluations, that the proposed algorithm achieves a higher prediction accuracy compared to alternative recurrent network architectures. We conduct experiments to investigate the impact of the length of observation, time to event and types of features on the performance of the proposed method. Finally, we demonstrate how different data fusion strategies impact prediction accuracy.

研究の動機と目的

• 軌跡ベースの方法を超えた堅牢な歩行者横断予測を、全体的な文脈手掛かりを活用して動機づける。
• 姿勢・出現情報、文脈、ポーズ、境界ボックス、自己車両速度を段階的に統合する多層特徴融合アーキテクチャを開発する。
• 観測長、イベントまでの時間（TTE）、特徴融合の順序が予測性能に与える影響を評価する。
• 異なる観測設定の下で、SF-GRUを他のRNNアーキテクチャと比較する。

提案手法

• 下から上へ段階的に多模地特徴を融合する5層のスタック型GRU（SF-GRU）を提案する。
• 最下層を歩行者の外観特徴で処理し、周囲の文脈、ポーズ、境界ボックス、自己車両速度を段階的に融合する。
• 隠れユニット数256のGRUを使用し、各レベルでモダリティ間の入力を連結する。y^t = {vc^t_s, vp^t, vb^t, vs^t} および x^t_0 = vc^t_p によって定義される。
• Adamオプティマイザで60エポックにわたりバイナリ交差エントロピー損失で訓練する；文脈とポーズ特徴を事前計算し、水平反転とクラス再バランスでデータを拡張する。
• 時間到達（TTE）と観測長が予測性能に与える影響を評価し、特徴融合の順序が精度に与える効果を検討する。

実験結果

リサーチクエスチョン

• RQ1 多モーダルかつ多段階の融合モデルは、軌跡ベースの方法を超えて歩行者の横断予測を改善できるか？
• RQ2 観測長とイベントまでの時間が横断予測の精度に与える影響はどの程度か？
• RQ3 異なるデータ融合順序と特徴入力はSF-GRUの性能にどう影響するか？
• RQ4 外観、文脈、ポーズ、境界ボックス、自己車両速度の特徴のどの組み合わせが最適な精度をもたらすか？

主な発見

• SF-GRUは評価されたモデルの中で最高の精度を達成し、0.844、AUC 0.829。
• SF-GRUはF1 0.721、精度0.657、再現率0.800を達成し、多くの指標でStatic、GRU、M-GRU、H-GRUのベースラインを上回る。
• すべての情報源（C_p、C_s、P、B、S）を使用すると、部分的な特徴セットよりも優れた性能を発揮する。
• 外観と周囲文脈を分離し、慎重な特徴融合順序を設けることで、精度が大幅に改善される（いくつかの構成では精度で最大9%、再現率で10%、適合率で15%の改善）。
• 長い観測は主に近短期（0–1秒）および遠距離（3秒）領域で有効であるが、シーンダイナミクスノイズにより途中で効果が混在する。