[論文レビュー] The H3D Dataset for Full-Surround 3D Multi-Object Detection and Tracking in Crowded Urban Scenes

Abhishek Patil, Srikanth Malla+2 more|arXiv (Cornell University)|Mar 4, 2019

Advanced Neural Network Applications参考文献 24被引用数 28

ひとこと要約

本稿では、混雑した都市環境におけるフルサウンディング3次元マルチオブジェクト検出およびトラッキングのベンチマークとして、360° LiDARを用いて収集された大規模なH3Dデータセットを紹介する。効率的なラベル付け手法と標準化された評価プロトコルを提案し、0.5および0.25のIoU閾値における車両のmAPが76.50%、歩行者のmAPが50.88%に達する最先端のベースラインを実現した。

ABSTRACT

3D multi-object detection and tracking are crucial for traffic scene understanding. However, the community pays less attention to these areas due to the lack of a standardized benchmark dataset to advance the field. Moreover, existing datasets (e.g., KITTI) do not provide sufficient data and labels to tackle challenging scenes where highly interactive and occluded traffic participants are present. To address the issues, we present the Honda Research Institute 3D Dataset (H3D), a large-scale full-surround 3D multi-object detection and tracking dataset collected using a 3D LiDAR scanner. H3D comprises of 160 crowded and highly interactive traffic scenes with a total of 1 million labeled instances in 27,721 frames. With unique dataset size, rich annotations, and complex scenes, H3D is gathered to stimulate research on full-surround 3D multi-object detection and tracking. To effectively and efficiently annotate a large-scale 3D point cloud dataset, we propose a labeling methodology to speed up the overall annotation cycle. A standardized benchmark is created to evaluate full-surround 3D multi-object detection and tracking algorithms. 3D object detection and tracking algorithms are trained and tested on H3D. Finally, sources of errors are discussed for the development of future algorithms.

研究の動機と目的

• 複雑な都市環境におけるフルサウンディング3次元マルチオブジェクト検出およびトラッキングのための標準化された大規模3次元データセットの不足に対処すること。
• KITTIのような既存のデータセットがフル360°カバー、豊富なアノテーション、および高度に相互作用的で遮蔽の激しいシーンからの十分なデータを欠いているという制限を克服すること。
• 密な正確な3次元バウンディングボックスおよびトラックアノテーションを備えたベンチマークを提供することで、混雑した都市環境における3次元認識研究を可能にすること。
• 大規模な3次元ポイントクラウドのラベリングをスケールアップしつつも、正確性を維持するための効率的なラベリングパイプラインの開発。
• 将来的なアルゴリズムの公平な比較を可能にするために、フルサウンディング3次元検出およびトラッキングのための標準化された評価プロトコルの確立。

提案手法

• サンフランシスコ・ベイエリアのHDDデータセットから、混雑で複雑な都市シーンに焦点を当て、160のフルサウンディング360° LiDARシーケンスを収集した。
• LiDAR SLAMと2次元投影技術を活用した、大規模なポイントクラウドにおける3次元バウンディングボックスラベリングを高速化する画期的なラベリング手法を実装した。
• 車両、歩行者、トラックなど8つの一般的な交通参加者をカバーし、27,721フレームにわたり1,071,302件のインスタンスをラベル付けした。
• VoxelNetを用いて3次元オブジェクト検出を訓練および評価し、以下の修正されたトレーニングハイパーパrameterを適用した：80エポック、学習率の段階的低下、バッチサイズ12、および範囲別ポイントフィルタリング（車両：40m、歩行者：25.6m）。
• 位置、速度、方向、角速度を含む状態ベクトルを備えた拡張カルマンフィルタ（UKF）を用いたフルサウンディング3次元マルチオブジェクトトラッキングシステムを実装した。
• オブジェクト重心間のユークリッド距離によるデータアソシエーションを実施し、遮蔽処理には垂直方向の面積乗数と2フレームのトラック老化処理を適用した。

実験結果

リサーチクエスチョン

• RQ1 密なアノテーションを備えた大規模なフルサウンディング3次元データセットは、複雑な都市環境における3次元マルチオブジェクト検出およびトラッキングモデルの性能と一般化能力を向上させることができるか？
• RQ2 提案されたラベリング手法は、アノテーション品質を保持しつつ、3次元ポイントクラウドのラベリングをどの程度高速化できるか？
• RQ3 高密度遮蔽および複雑な背景下で3次元検出およびトラッキングに顕在する主な失敗モードは何か？ それらはアルゴリズム性能にどのように影響を与えるか？
• RQ4 検出入力の品質が、下流の3次元マルチオブジェクトトラッキングの精度にどの程度影響を与えるか？
• RQ5 MOTA、MOTP、MT、MLといった標準的な評価指標は、現実の都市環境の複雑さを反映するフルサウンディング3次元トラッキングベンチマークにおいて、どのように機能するか？

主な発見

• H3Dデータセットは、8つのオブジェクトクラスをカバーする27,721フレームにわたり1,071,302個の3次元バウンディングボックスラベルを含み、これまでにない最大規模のフルサウンディング3次元検出およびトラッキングデータセットである。
• VoxelNetは、車両検出において0.5 IoUで76.50%のmAP、歩行者検出において0.25 IoUで50.88%のmAPを達成し、新ベンチマークにおけるベースライン性能を示した。
• 検出の失敗は、特に点密度が低く、部分的にしか見えない歩行者に対して顕著に多く発生し、検出漏れが生じやすい。
• トラッキング性能は検出品質に極めて敏感である。真値検出を用いると、車両のMOTAは0.99、歩行者のMOTAは0.83に達するが、モデル予測を用いるとそれぞれ0.762および0.368に低下する。
• 遮蔽はトラッキング性能に顕著な悪影響を及ぼし、43.4%の歩行者トラックが「ほとんど失われた（ML）」と分類され、長時間にわたる遮蔽下でのトラッキングに大きな課題があることを示している。
• 点が少ないオブジェクト、特に静止または部分的に可視な車両では、ヨー角推定誤差が顕著に現れ、点密度が低い状況下での方向推定の限界を浮き彫りにしている。