[論文レビュー] HUM3DIL: Semi-supervised Multi-modal 3D Human Pose Estimation for Autonomous Driving

Andrei Zanfir, Mihai Zanfir+5 more|arXiv (Cornell University)|Dec 15, 2022

Video Surveillance and Tracking Methods被引用数 8

ひとこと要約

HUM3DIL は、自己走行車両向けに、RGB画像とLiDAR点群をピクセルに整合させた深さに敏感な特徴量を用い、一連のTransformer精錬段階を経て融合する半教師あり、マルチモーダルな3次元人体ポーズ推定手法を提案する。Waymo Open Dataset を用い、3次元アノテーションは限定的で2次元ラベルが豊富な状況で学習させた結果、6.72 cm の3次元MPJPEを達成し、実世界の走行状況において高い精度、高速性、耐障害性を示した。

ABSTRACT

Autonomous driving is an exciting new industry, posing important research questions. Within the perception module, 3D human pose estimation is an emerging technology, which can enable the autonomous vehicle to perceive and understand the subtle and complex behaviors of pedestrians. While hardware systems and sensors have dramatically improved over the decades -- with cars potentially boasting complex LiDAR and vision systems and with a growing expansion of the available body of dedicated datasets for this newly available information -- not much work has been done to harness these novel signals for the core problem of 3D human pose estimation. Our method, which we coin HUM3DIL (HUMan 3D from Images and LiDAR), efficiently makes use of these complementary signals, in a semi-supervised fashion and outperforms existing methods with a large margin. It is a fast and compact model for onboard deployment. Specifically, we embed LiDAR points into pixel-aligned multi-modal features, which we pass through a sequence of Transformer refinement stages. Quantitative experiments on the Waymo Open Dataset support these claims, where we achieve state-of-the-art results on the task of 3D pose estimation.

研究の動機と目的

• 自動運転車両のオンボードデプロイメントに最適化された、高速で軽量かつ高精度な3次元人体ポーズ推定手法の開発。
• 制御不能な実世界の走行環境におけるRGBカメラとLiDARセンサからの補完的信号の有効活用。
• 3次元アノテーションデータの不足を補うために、豊富な2次元キーポイントラベルと限定的な3次元ラベルを用いた半教師あり学習によるアプローチ。
• 遮蔽、距離の変化、部分的視認といった困難な状況下でもポーズ推定精度の向上。
• 単なる3次元バウンディングボックスを越えて、正確な3次元ジョイント予測による歩行者の行動の細分化理解の実現。

提案手法

• 本手法は、3次元LiDAR点群を画像平面に投影し、学習可能な埋め込みを用いてRGB特徴量と融合することで、ピクセルに整合したマルチモーダル特徴量を計算する。
• RGB画像からのマルチスケール特徴量を抽出するためにU-Netバックボーンを採用し、深さ情報は追加チャネルとして明示的に符号化する。
• 3次元LiDAR点群は、Transformerエンコーダーにおける空間的位置の効果的モデリングを可能にするために、ランダムフォーリエ特徴（RFF）を用いて埋め込み化する。
• 一連のTransformer精錬段階が、融合されたマルチモーダル特徴量から3次元ジョイント座標を段階的に回帰する。
• モデルは半教師あり学習で訓練され、3次元ジョイントに対する教師あり損失と2次元キーポイント監視に対する弱教師あり損失を組み合わせることで一般化性能を向上させる。
• アーキテクチャは効率性を重視しており、オンボード自動運転システムに適したリアルタイム推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 RGBとLiDARデータのマルチモーダル融合は、制御不能な自動運転環境下で3次元人体ポーズ推定精度を顕著に向上させ得るか？
• RQ2 豊富な2次元アノテーションと限定的な3次元アノテーションを用いた半教師あり学習は、3次元ポーズ推定に対してどれほど効果的か？
• RQ3 LiDARから得られる深さに敏感で空間的に感度の高い特徴表現は、特に遮蔽や長距離条件下で3次元ジョイント予測にどの程度寄与するか？
• RQ4 本研究で用いられたTransformerを用いた精錬段階は、PointNet や PointNet++ といった先行アーキテクチャに比べて、このマルチモーダル3次元ポーズ推定タスクにおいてどのように優れているか？
• RQ5 RFF埋め込み、深さ入力、RGBモダリティといったアーキテクチャ的要素が最終的な性能に与える影響はいかほどか？

主な発見

• HUM3DIL は、Waymo Open Dataset において3次元MPJPEが6.72 cm に達し、既存の最先端手法を大きく上回る性能を示した。
• アブレーションスタディの結果、2次元弱教師あり損失を削除すると3次元MPJPEが1.9 cm 上昇し、2次元監視が3次元推定の向上に果たす重要な役割を示した。
• LiDAR点群に対するランダムフォーリエ埋め込みを無効化すると1.3 cm の性能低下が生じ、3次元空間的位置のモデリングにおいてその重要性が裏付けられた。
• RGBモダリティを無効化すると3次元MPJPEが1.3 cm 増加し、視覚的特徴が補完的情報を効果的に提供していることが確認された。
• 最良と最悪の距離条件の間で性能が約3 cm 低下するが、大多数の距離範囲では安定しており、極端な距離では誤差が滑らかに減少する傾向を示した。
• 完全視認状態から重度の遮蔽状態に移行すると誤差がほぼ2倍に増加する傾向を示し、部分的視認状況における主な課題が浮き彫りになった。