[論文レビュー] STCrowd: A Multimodal Dataset for Pedestrian Perception in Crowded Scenes

Peishan Cong, Xinge Zhu+8 more|arXiv (Cornell University)|Apr 3, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、219Kの3Dアノテーション付き歩行者インスタンスを有する大規模なマルチモodalデータセットSTCrowdを紹介する。このデータセットは、高密度な混雑シーンにおける同期されたLiDAR点群とカメラ画像を含む。本稿では、空間アテンションとマルチレベルのヒートマップを活用することで、LiDARベースの歩行者検出とトラッキングを向上させる、密度に配慮した階層的ヒートマップアグリゲーション（DHA）という新規手法を提案する。DHAはSTCrowd上で最先端の性能を達成し、バックボーンやタスクにわたって一般化可能である。

ABSTRACT

Accurately detecting and tracking pedestrians in 3D space is challenging due to large variations in rotations, poses and scales. The situation becomes even worse for dense crowds with severe occlusions. However, existing benchmarks either only provide 2D annotations, or have limited 3D annotations with low-density pedestrian distribution, making it difficult to build a reliable pedestrian perception system especially in crowded scenes. To better evaluate pedestrian perception algorithms in crowded scenarios, we introduce a large-scale multimodal dataset,STCrowd. Specifically, in STCrowd, there are a total of 219 K pedestrian instances and 20 persons per frame on average, with various levels of occlusion. We provide synchronized LiDAR point clouds and camera images as well as their corresponding 3D labels and joint IDs. STCrowd can be used for various tasks, including LiDAR-only, image-only, and sensor-fusion based pedestrian detection and tracking. We provide baselines for most of the tasks. In addition, considering the property of sparse global distribution and density-varying local distribution of pedestrians, we further propose a novel method, Density-aware Hierarchical heatmap Aggregation (DHA), to enhance pedestrian perception in crowded scenes. Extensive experiments show that our new method achieves state-of-the-art performance for pedestrian detection on various datasets.

研究の動機と目的

• 混雑シーンにおける豊富なアノテーションを備えた大規模かつ高密度な3D歩行者認識データセットの不足に対処すること。
• 極度に遮蔽され、密度が極めて高い群衆環境における歩行者検出、トラッキング、軌道予測の堅牢な評価を可能にすること。
• 混雑シーンにおける歩行者の疎なグローバル分布と変動するローカル密度を効果的に処理できる手法の開発。
• LiDARオンリー、画像オンリー、センサーフュージョンベースの認識タスクのための包括的なベースラインとメトリクスの提供。

提案手法

• 空間アテンションモジュール（SAM）と階層的ヒートマップアグリゲーション（HH）モジュールを組み合わせた二重モジュールフレームワークである、密度に配慮した階層的ヒートマップアグリゲーション（DHA）を提案する。
• 空間アテンションモジュールを用いて、ネットワークの能力を関連するフォアグラウンド領域に集中させ、混雑で遮蔽された領域への注目を向上させる。
• 階層的ヒートマップアグリゲーションを用いて、マルチレベルの特徴マップを用いて複数の空間スケールにおける歩行者密度の変動をモデル化する。
• エンドツーエンドの学習と推論を可能にするために、DHAをLiDARベースの検出バックボーン（例：Pillar-Center、Voxel-Center、PointAugmenting）に統合する。
• 速度予測ヘッドを統合することで、DHAを3Dトラッキングに適応させ、CenterPointベースのモデル上で性能を評価する。
• STCrowdデータを用いて、標準的なモデル（LSTM、Social-LSTM、StarNet）を用いて、フレームワークを軌道予測に拡張する。

Figure 1 : STCrowd provides 2D/3D image annotations, 3D point cloud annotations, and joint annotations for consecutive frames. Note that STCrowd contains a large quantity of crowded scenes with severe occlusions, which pose great challenges to pedestrian detection and tracking.

実験結果

リサーチクエスチョン

• RQ1 密度の高い3Dアノテーションを備えたマルチモーダルデータセットは、極めて混雑なシーンにおける歩行者認識の評価をどのように改善するか？
• RQ2 密度が変動する歩行者分布を想定した手法は、遮蔽され、混雑したシーンにおける検出およびトラッキング性能をどの程度向上させるか？
• RQ3 学習可能なアテンションと階層的アグリゲーション機構は、密度の高い群衆シナリオにおいて、標準的な検出バックボーンを上回ることができるか？
• RQ4 提案されたDHA手法は、さまざまなLiDARベースの検出およびトラッキングアーキテクチャにどの程度一般化可能か？
• RQ5 複雑な群衆環境における軌道予測において、マルチモーダル統合とDHAはどの程度の性能向上をもたらすか？

主な発見

• Pillar-Centerバックボーンを用いたSTCrowd検証セットにおいて、提案手法DHAは平均平均精度（mAP）0.617を達成し、ベースラインを5.6%上回った。
• アブレーションスタディの結果、空間アテンションモジュールと階層的ヒートマップコンponentの両方が顕著な寄与を示し、Voxel-CenterにおいてDHAはベースライン比でmAPを3.5%向上させた。
• 3Dトラッキングにおいて、DHAはMOTAをVoxel-Centerベースラインの0.342から0.368に向上させ、タスクにわたる強力な一般化能力を示した。
• LiDAR特徴のみを用いても競争力ある性能を達成しており、一部のセンサーフュージョンベースラインを上回ったことから、遮蔽の処理における有効性が裏付けられた。
• 軌道予測において、StarNetはSTCrowdデータを用いてFDE 0.983、MDE 0.404を達成し、群衆ダイナミクスの高度なモデリングを支援するデータセットの有効性を示した。
• STCrowdデータセットには219Kの歩行者インスタンスが含まれており、1フレームあたり平均20人、極度の混雑時には30人以上を記録しており、nuScenes や KITTI よりも顕著に密度が高く、顕著な差異を示している。

Figure 2 : Scene examples of STCrowd with different backgrounds and weather, including clear weather (the first row), cloudy and rainy conditions (the second row). Note that the last figure shows the poor captured LiDAR point cloud due to the rainy conditions.