[論文レビュー] A Real-time Vision Framework for Pedestrian Behavior Recognition and Intention Prediction at Intersections Using 3D Pose Estimation

Ue-Hwan Kim, Dongho Ka+2 more|arXiv (Cornell University)|Sep 23, 2020

Autonomous Vehicle Technology and Safety参考文献 41被引用数 4

ひとこと要約

本論文は、3次元ポーズ推定を用いたリアルタイムビジョンフレームワークを提案し、歩行者の行動を認識（100.53 FPS）および渡歩意思を予測（35.76 FPS）する。TUDデータセットではトレーニングなしで89.3%の精度を達成し、自らのデータセットでは91.28%の精度を記録し、サイトに依存しない特徴量と高い汎化性能により、新たな最先端の性能を達成した。

ABSTRACT

Minimizing traffic accidents between vehicles and pedestrians is one of the primary research goals in intelligent transportation systems. To achieve the goal, pedestrian behavior recognition and prediction of pedestrian's crossing or not-crossing intention play a central role. Contemporary approaches do not guarantee satisfactory performance due to lack of generalization, the requirement of manual data labeling, and high computational complexity. To overcome these limitations, we propose a real-time vision framework for two tasks: pedestrian behavior recognition (100.53 FPS) and intention prediction (35.76 FPS). Our framework obtains satisfying generalization over multiple sites because of the proposed site-independent features. At the center of the feature extraction lies 3D pose estimation. The 3D pose analysis enables robust and accurate recognition of pedestrian behaviors and prediction of intentions over multiple sites. The proposed vision framework realizes 89.3% accuracy in the behavior recognition task on the TUD dataset without any training process and 91.28% accuracy in intention prediction on our dataset achieving new state-of-the-art performance. To contribute to the corresponding research community, we make our source codes public which are available at this https URL

研究の動機と目的

• 既存手法の限界、すなわち汎化性能の低さ、手動ラベリングへの依存、高い計算コストを解消すること。
• 都市交差点における歩行者の行動認識および渡歩意思予測を正確に実行できるリアルタイムシステムの開発。
• 3次元ポーズ推定から得られる一般化可能な視覚的特徴量の設計により、サイトに依存しない性能を実現すること。
• 新しい場所に再トレーニングを行わず、広範なトレーニングデータを必要とせずに、行動認識および意思予測の両方で高い精度を達成すること。

提案手法

• モノクロナルRGB動画ストリームから、頑健でサイトに依存しない視覚的特徴量を抽出するためのコアコンponentとして3次元ポーズ推定を活用する。
• 軽量なパイプラインを採用し、行動認識で100.53 FPS、意思予測で35.76 FPSのリアルタイム推論を実現する。
• 3次元ポーズシーケンスから学習されたサイトに依存しない特徴表現を用いることで、多様な交差点環境間でのモデルの汎化性能を向上させる。
• 3次元ポーズ特徴量の上に分類ヘッドを適用し、歩行、停止などの歩行者行動や渡歩意思を予測する。
• 独自のデータセットで意思予測モデルをトレーニングし、ドメイン特化のファインチューニングなしで高い精度を達成した。
• 研究の再現性を支援し、知的輸送システム分野におけるコミュニティの進展を促進するため、ソースコードを公開した。

実験結果

リサーチクエスチョン

• RQ1 3次元ポーズ推定を用いたビジョンベースのフレームワークは、都市交差点における歩行者行動認識および意思予測においてリアルタイム性能を達成できるか？
• RQ2 サイトに依存しない特徴量は、再トレーニングなしに、異なる交差点環境間での汎化性能をどの程度向上できるか？
• RQ3 従来の手法と比較して、3次元ポーズに基づく特徴量を用いることで、歩行者意思予測でどの程度の精度が達成できるか？
• RQ4 トレーニングなしでベンチマークデータセット上で本フレームワークがどのように性能を発揮するか。これは特徴量の頑健性について何を示唆するか？
• RQ5 最小限の適応で、多様な実世界のサイトにおいても高い性能を維持できるか？

主な発見

• TUDデータセットではトレーニングなしで89.3%の精度を達成し、学習された3次元ポーズ特徴量からの強い汎化性能を示した。
• 自らの独自データセットでは、意思予測で91.28%の精度に到達し、新たな最先端の性能を樹立した。
• リアルタイムで動作し、行動認識で100.53 FPS、意思予測で35.76 FPSで処理可能であり、動的交通環境への展開に適している。
• 3次元ポーズ推定の活用により、再トレーニングなしに複数の交差点サイトで良好な特徴抽出が可能で、汎化性能が優れている。
• 提案されたサイトに依存しない特徴量は、新環境におけるデータ再収集や手動ラベリングの必要性を顕著に低減した。
• ソースコードの公開により、再現性が確保され、ビジョンベースの歩行者行動理解分野における今後の研究を加速する基盤が整った。