[論文レビュー] IntFormer: Predicting pedestrian intention with the aid of the Transformer architecture

Javier Lorenzo, I. Parra+1 more|arXiv (Cornell University)|May 18, 2021

Autonomous Vehicle Technology and Safety参考文献 17被引用数 15

ひとこと要約

IntFormer は、動画特徴をエンコードするための RubiksNet と、Transformer アーキテクチャを組み合わせた軽量でリアルタイムな歩行者意図予測モデルを提案する。PIE ベンチマークにおいて、最先端の性能（AUC: 0.823）を達成し、従来手法と比較してモデルサイズが 8 倍小さく、学習時間が 96% 速くなった。また、自己車両の速度が最も予測力の高い入力特徴であることが示された。

ABSTRACT

Understanding pedestrian crossing behavior is an essential goal in intelligent vehicle development, leading to an improvement in their security and traffic flow. In this paper, we developed a method called IntFormer. It is based on transformer architecture and a novel convolutional video classification model called RubiksNet. Following the evaluation procedure in a recent benchmark, we show that our model reaches state-of-the-art results with good performance ($\approx 40$ seq. per second) and size ($8 imes $smaller than the best performing model), making it suitable for real-time usage. We also explore each of the input features, finding that ego-vehicle speed is the most important variable, possibly due to the similarity in crossing cases in PIE dataset.

研究の動機と目的

• 都市部の自律走行シナリオにおけるリアルタイムで効率的な歩行者意図予測モデルの開発。
• PCPA ら従来の最先端モデルと比較して、性能の向上と計算コストの低減。
• 自己車両の速度、バウンディングボックス座標、ポーズキーポイント、画像クロップなどのさまざまな入力特徴の、予測精度に与える相対的寄与度の調査。
• 新しい最適化技術とモデルサイズの縮小を活用した学習効率の最適化。
• 知能車両への実装に適した、堅牢で一般化可能なソリューションの提供。

提案手法

• IntFormer は、画像ベースの特徴（例：クロップされたバウンディングボックス）をエンコードするための RubiksNet と、非画像の時系列データ（例：自己車両の速度、バウンディングボックス座標、ポーズキーポイント）をエンコードするための Transformer エンコーダーを組み合わせたハイブリッドアーキテクチャを採用する。
• モデルは 16 フレーム（30 fps）の入力シーケンスを処理し、1〜2 秒の時間枠（イベントまでの時間、TTE）における歩行者通行意図を予測する。
• 別々のエンコーディング後に特徴の統合が行われるため、空間的（画像）および時間的（非画像）な手がかりを効果的に統合できる。
• 高度な最適化技術を用いた新しい学習スケジュールにより、PIE では学習時間が 13 分未満に短縮された。これは PCPA と比較して 8 時間から大幅に短縮された。
• モデルは [6] の公式ベンチマークを用いて評価され、PIE および JAAD データセットの両方で評価が標準化されている。
• 入力特徴を体系的にアブレーションすることで、それぞれの特徴が性能に与える個別的および複合的寄与度を評価した。

実験結果

リサーチクエスチョン

• RQ1 PCPA ら従来の最先端モデルと比較して、PIE および JAAD ベンチマークにおいて、提案された IntFormer モデルの性能と効率性はどのように異なるか？
• RQ2 自己車両の速度、バウンディングボックス座標、ポーズキーポイント、画像クロップのうち、どの入力特徴が歩行者通行意図を最も正確に予測できるか？
• RQ3 画像特徴と非画像特徴を組み合わせることで、予測精度はどの程度向上するか？また、どの組み合わせが最良の結果をもたらすか？
• RQ4 より小型で高速なモデルが、リアルタイムでのインテリジェントな車両への実装に適した最先端の性能を達成できるか？
• RQ5 なぜ自己車両の速度が最も影響力の高い単一の特徴として浮き彫りになったのか？また、これは PIE データセットにおける歩行者行動パターンに何を示唆しているか？

主な発見

• IntFormer は PIE ベンチマークで AUC 0.823 を達成し、PCPA や他のベースラインを上回る最先端の性能を示した。
• 最も性能の高かったモデル（PCPA）と比較して、モデルサイズは 8 倍小さく、学習時間は 13 分未満に短縮され、PCPA と比較して 96% の短縮が達成された。
• 自己車両の速度のみで最高の個別性能（AUC: 0.817）を達成しており、速度の変化と歩行者通行行動との強い相関が示唆された。
• バウンディングボックス座標と自己車両の速度を組み合わせた場合が、最良の統合性能を示し、低次元の運動的特徴が非常に情報量が多いことが示された。
• ポーズキーポイント特徴のみでは、ランダムチョイスと同等の性能（AUC: 0.500）にとどまり、事前に計算された検出誤差や隠蔽要因による影響が考えられる。
• 画像クロップ（バウンディングボックスの画像）は、非画像特徴と統合することで性能が顕著に向上し、文脈的な視覚的情報の価値が裏付けられた。