[论文解读] HUM3DIL: Semi-supervised Multi-modal 3D Human Pose Estimation for Autonomous Driving

Andrei Zanfir, Mihai Zanfir+5 more|arXiv (Cornell University)|Dec 15, 2022

Video Surveillance and Tracking Methods被引用 8

一句话总结

HUM3DIL 提出了一种用于自动驾驶的半监督、多模态 3D 人体姿态估计方法，通过一系列 Transformer 优化阶段融合像素对齐、深度感知的特征，实现 RGB 图像与 LiDAR 点云的融合。在 Waymo Open Dataset 上，利用有限的 3D 标注和丰富的 2D 标签进行训练，该方法在 3D MPJPE 上达到 6.72 cm 的 SOTA 性能，展示了在真实驾驶场景中高精度、高速度和强鲁棒性。

ABSTRACT

Autonomous driving is an exciting new industry, posing important research questions. Within the perception module, 3D human pose estimation is an emerging technology, which can enable the autonomous vehicle to perceive and understand the subtle and complex behaviors of pedestrians. While hardware systems and sensors have dramatically improved over the decades -- with cars potentially boasting complex LiDAR and vision systems and with a growing expansion of the available body of dedicated datasets for this newly available information -- not much work has been done to harness these novel signals for the core problem of 3D human pose estimation. Our method, which we coin HUM3DIL (HUMan 3D from Images and LiDAR), efficiently makes use of these complementary signals, in a semi-supervised fashion and outperforms existing methods with a large margin. It is a fast and compact model for onboard deployment. Specifically, we embed LiDAR points into pixel-aligned multi-modal features, which we pass through a sequence of Transformer refinement stages. Quantitative experiments on the Waymo Open Dataset support these claims, where we achieve state-of-the-art results on the task of 3D pose estimation.

研究动机与目标

• 开发一种快速、轻量且精确的 3D 人体姿态估计方法，专为自动驾驶车辆的车载部署而设计。
• 在非受控的真实驾驶环境中，有效利用 RGB 摄像头和 LiDAR 传感器的互补信号。
• 通过半监督训练方式缓解 3D 标注数据稀缺的问题，利用丰富的 2D 关键点标签和有限的 3D 标签进行训练。
• 在遮挡、距离变化和部分视图等挑战性条件下，提升姿态估计的准确性。
• 通过精确的 3D 关节预测，实现对行人行为的细粒度理解，超越简单的 3D 边界框。

提出的方法

• 通过将 3D LiDAR 点投影到图像平面，计算像素对齐的多模态特征，并使用可学习嵌入将它们与 RGB 特征融合。
• 采用 U-Net 主干网络从 RGB 图像中提取多尺度特征，同时将深度信息显式编码为额外通道。
• 使用随机傅里叶特征（RFF）对 3D LiDAR 点进行嵌入，以在 Transformer 编码器中有效建模空间位置。
• 通过一系列 Transformer 优化阶段，从融合的多模态特征中逐步回归 3D 关节坐标。
• 采用半监督训练方式，结合 3D 关节的监督损失和 2D 关键点的弱监督损失，以提升泛化能力。
• 架构设计注重效率，支持实时推理，适用于车载自动驾驶系统。

实验结果

研究问题

• RQ1 RGB 与 LiDAR 数据的多模态融合是否能在非受控的自动驾驶环境中显著提升 3D 人体姿态估计的准确性？
• RQ2 利用丰富的 2D 标注和有限的 3D 标注进行半监督训练，在 3D 姿态估计中是否具有显著有效性？
• RQ3 来自 LiDAR 的深度感知和空间感知特征表示在 3D 关节预测中起到多大作用，特别是在遮挡或远距离条件下？
• RQ4 与 PointNet 或 PointNet++ 等先前架构相比，使用 Transformer 作为优化阶段在该多模态 3D 姿态估计任务中的表现如何？
• RQ5 RFF 嵌入、深度输入和 RGB 模态等架构组件对最终性能的影响如何？

主要发现

• HUM3DIL 在 Waymo Open Dataset 上实现了 6.72 cm 的 3D MPJPE，显著优于现有 SOTA 方法。
• 消融实验表明，若移除 2D 弱监督损失，3D MPJPE 增加 1.9 cm，证明了 2D 监督在提升 3D 估计性能中的关键作用。
• 若禁用 LiDAR 点的随机傅里叶嵌入，性能下降 1.3 cm，表明其在建模 3D 空间位置中的重要性。
• 若移除 RGB 模态，3D MPJPE 增加 1.3 cm，证实视觉特征提供了关键的互补信息。
• 在最佳与最差距离条件之间，性能下降约 3 cm，但在大多数距离范围内保持稳定，且在极端距离下误差呈平滑下降趋势。
• 当从全视角过渡到严重遮挡的受试者时，误差几乎增加一倍，凸显了部分视图场景下的主要挑战。