[論文レビュー] Sliding Sequential CVAE with Time Variant Socially-aware Rethinking for Trajectory Prediction

Hao Zhou, Dongchun Ren+3 more|arXiv (Cornell University)|Oct 28, 2021

Autonomous Vehicle Technology and Safety参考文献 33被引用数 4

ひとこと要約

本稿では、社会的要因を考慮した再考機能を備えた段階的条件付き変分オートエンコーダ（CSR）を提案する。この手法は、更新された過去の軌跡と予測された点を順次用いて将来の点を予測し、社会的相互作用モデリングによりそれらを精緻化する。提案手法は最先端性能を達成し、SDDではADEを38.0%、ETH/UCYでは22.2%削減した。さらに、より効率的なスライドCVAEバージョンではモデルパラメータを85.9%削減し、推論速度を6.3倍に向上させた。

ABSTRACT

Pedestrian trajectory prediction is a key technology in many applications such as video surveillance, social robot navigation, and autonomous driving, and significant progress has been made in this research topic. However, there remain two limitations of previous studies. First, with the continuation of time, the prediction error at each time step increases significantly, causing the final displacement error to be impossible to ignore. Second, the prediction results of multiple pedestrians might be impractical in the prediction horizon, i.e., the predicted trajectories might collide with each other. To overcome these limitations, this work proposes a novel trajectory prediction method called CSR, which consists of a cascaded conditional variational autoencoder (CVAE) module and a socially-aware regression module. The cascaded CVAE module first estimates the future trajectories in a sequential pattern. Specifically, each CVAE concatenates the past trajectories and the predicted points so far as the input and predicts the location at the following time step. Then, the socially-aware regression module generates offsets from the estimated future trajectories to produce the socially compliant final predictions, which are more reasonable and accurate results than the estimated trajectories. Moreover, considering the large model parameters of the cascaded CVAE module, a slide CVAE module is further exploited to improve the model efficiency using one shared CVAE, in a slidable manner. Experiments results demonstrate that the proposed method exhibits improvements over state-of-the-art method on the Stanford Drone Dataset (SDD) and ETH/UCY of approximately 38.0% and 22.2%, respectively.

研究の動機と目的

• 長期間予測における予測誤差の増大を是正すること。
• 歩行者が衝突したり相互作用のルールに反するような不自然な軌跡予測を是正すること。
• 性能を損なわずに順次的軌跡予測におけるモデル効率を向上させること。
• 予測された点を擬似ラベルとして活用することで、以降の予測における不確実性を低減する手法を開発すること。
• 社会的相互作用モデリングを予測の精緻化プロセスに統合し、より現実的で社会的整合性のある軌跡を生成すること。

提案手法

• 段階的CVAEモジュールは、過去の軌跡とすべての事前に予測された点を条件として、逐次的に将来の軌跡点を予測する。これらを擬似ラベルとして扱い、不確実性を低減する。
• カスケード内の各CVAEは共有された潜在空間を用いるが、独立して動作する。入力は過去の軌跡と累積的な予測点から構成される。
• 社会的配慮のレギュレーションモジュールは、過去の軌跡と予測された軌跡の両方から相互作用特徴を抽出し、社会的整合性を強制する。
• スライドCVAEモジュールを導入し、非共有CVAEの代わりにスライディングウィンドウ方式で1つの共有CVAEを用いることで、モデルパラメータを著しく削減し、推論速度を向上させる。
• CVAEの再構成損失と社会的配慮の精緻化モジュールの回帰損失を用いて、エンド・ツー・エンドでモデルを訓練する。
• 予測位置の進化に応じて動的に相互作用をモデリングする時間依存の社会的再考機能を組み込み、複雑なシナリオでも現実性を高める。

実験結果

リサーチクエスチョン

• RQ1 更新された過去の軌跡と予測点を用いた順次的予測は、歩行者軌跡予測における長期的誤差を低減できるか？
• RQ2 歩行者間の社会的相互作用を効果的にモデリングすることで、衝突のない現実的で自然な軌跡予測が可能か？
• RQ3 スライディングウィンドウ方式で実装された共有CVAEアーキテクチャは、性能を維持しつつモデルパラメータを著しく削減し、推論速度を向上できるか？
• RQ4 社会的相互作用特徴を用いて予測軌跡を精緻化することで、予測精度と現実性はどの程度向上するか？
• RQ5 多様な歩行者相互作用シナリオにおいて、提案手法はADEおよびFDEの観点で最先端手法と比較してどの程度優れているか？

主な発見

• 提案されたCSR手法は、スタンフォードドローンデータセット（SDD）において、最先端手法比でADEに38.0%の相対的改善を達成した。
• ETH/UCYベンチマークでは、最も優れた既存手法と比較してADEを22.2%削減した。
• 社会的配慮のレギュレーションモジュールは、ETH/UCYでADEの観点で17.6%、SDDでは20.4%の性能向上を示し、社会的整合性のある軌跡の精緻化効果を実証した。
• スライドCVAEバージョンは、カスケードCVAEと比較してモデルパラメータを85.9%削減し、推論速度を6.3倍に向上させるとともに、SDDではADEを43.1%改善した。
• 定性的な結果から、特に交差や衝突回避などの複雑な相互作用シナリオにおいて、PECNetと比較してCSRはより現実的で衝突のない軌跡を生成することが明らかになった。
• 本手法は、すべての評価指標において既存の最先端モデルを上回り、歩行者軌跡予測分野における新たな最先端性能を確立した。