[論文レビュー] Pedestrian Behavior Prediction via Multitask Learning and Categorical Interaction Modeling.

Amir Rasouli, Mohsen Rohani+1 more|arXiv (Cornell University)|Dec 6, 2020

Autonomous Vehicle Technology and Safety参考文献 51被引用数 8

ひとこと要約

本論文は、マルチモーダルデータを用いて歩行者の軌道と行動を同時に予測するマルチタスク学習フレームワークを提案する。モダリティ固有の符号化と共有表現学習、およびカテゴリカル相互作用モデリングを組み合わせることで、モデルはSOTAの性能を達成し、PIEおよびJAADベンチマークにおいて、軌道予測を最大22%、行動予測を6%向上させた。

ABSTRACT

Pedestrian behavior prediction is one of the major challenges for intelligent driving systems. Pedestrians often exhibit complex behaviors influenced by various contextual elements. To address this problem, we propose a multitask learning framework that simultaneously predicts trajectories and actions of pedestrians by relying on multimodal data. Our method benefits from 1) a hybrid mechanism to encode different input modalities independently allowing them to develop their own representations, and jointly to produce a representation for all modalities using shared parameters; 2) a novel interaction modeling technique that relies on categorical semantic parsing of the scenes to capture interactions between target pedestrians and their surroundings; and 3) a dual prediction mechanism that uses both independent and shared decoding of multimodal representations. Using public pedestrian behavior benchmark datasets for driving, PIE and JAAD, we highlight the benefits of multitask learning for behavior prediction and show that our model achieves state-of-the-art performance and improves trajectory and action prediction by up to 22% and 6% respectively. We further investigate the contributions of the proposed processing and interaction modeling techniques via extensive ablation studies.

研究の動機と目的

• インテリジェントドライブシステムにおける複雑な歩行者行動の予測という課題に対処すること。
• マルチモーダルセンサデータを活用して、軌道および行動予測の精度を向上させること。
• カテゴリカルセマンティックパーシングを用いて、歩行者とその環境との文脈的相互作用をモデル化すること。
• 共有および独立したデコーディングを統合することで、軌道および行動予測を同時に最適化する統合フレームワークを構築すること。
• 広範なアブレーションおよびベンチマーク評価を通じて、マルチタスク学習および相互作用モデリングの有効性を実証すること。

提案手法

• 異なる入力モダリティ（例：視覚、LiDAR、運動）を個別に処理するハイブリッド符号化機構を採用し、共有パラメータを介して統合する。
• シーン要因（例：横断歩道、車両）を表現し、それらとターゲット歩行者の相互作用をモデル化するためのカテゴリカルセマンティックパーシング技術を導入する。
• 共有表現およびモダリティ固有の表現から、両方の予測（軌道および行動）をデコードする二重予測メカニズムを設計する。
• 共有および独立したデコーディングヘッドを用いることで、タスク固有の学習とクロスタスク一般化のバランスを図る。
• 軌道および行動予測の目的関数を統合したマルチタスク損失を用いて、エンドツーエンドでモデルを学習する。
• 再現性および比較可能性を確保するため、公的ベンチマーク（PIEおよびJAAD）を訓練および評価に活用する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習は、単一タスクベースラインと比較して、歩行者の軌道と行動の同時予測をどのように改善するか？
• RQ2 カテゴリカルセマンティックパーシングは、行動予測のための歩行者-環境相互作用をどの程度効果的にモデル化できるか？
• RQ3 タスク間で共有される表現が、予測性能にどの程度寄与するか？
• RQ4 提案された相互作用モデリング技術が、全体の予測精度に果たす貢献度はどの程度か？
• RQ5 アブレーションスタディを通じて、フレームワークの各構成要素（符号化、相互作用モデリング、デコーディング）が性能に与える影響は何か？

主な発見

• 提案されたマルチタスク学習フレームワークは、歩行者行動予測においてPIEおよびJAADベンチマークでSOTAの性能を達成した。
• ベースラインモデルと比較して、軌道予測の精度が最大22%向上し、運動予測の分野で顕著な向上が確認された。
• 既存の手法と比較して、行動予測のパフォーマンスが6%向上し、歩行者の意図の認識が向上したことが示された。
• アブレーションスタディの結果、カテゴリカル相互作用モデリングおよび二重デコーディング機構の両方が、性能向上に有意に寄与していることが確認された。
• ハイブリッド符号化戦略は、モダリティ固有の特徴を効果的に捉えながら、共有パラメータを通じたクロスマodalな知識移転を可能にした。
• 多様なドライブシナリオにわたり、モデルの性能向上が一貫して確認されたことから、その頑健性および一般化能力が示された。