[论文解读] FLEX: Parameter-free Multi-view 3D Human Motion Reconstruction.

Brian Gordon, Sigal Raab+3 more|arXiv (Cornell University)|May 5, 2021

Human Pose and Action Recognition参考文献 48被引用 4

一句话总结

FLEX 是一种无需参数的端到端多视角 3D 人体动作重建模型，通过学习跨视角下不变的 3D 关节旋转和骨骼长度，消除了对相机参数的依赖。它使用一种新颖的多视角融合层来整合视频流，并重建出时间上连贯、一致的 3D 骨骼，无需相机参数即可超越最先进方法的性能，而在提供相机参数时亦能达到其性能水平。

ABSTRACT

The increasing availability of video recordings made by multiple cameras has offered new means for mitigating occlusion and depth ambiguities in pose and motion reconstruction methods. Yet, multi-view algorithms strongly depend on camera parameters, in particular, the relative positions among the cameras. Such dependency becomes a hurdle once shifting to dynamic capture in uncontrolled settings. We introduce FLEX (Free muLti-view rEconstruXion), an end-to-end parameter-free multi-view model. FLEX is parameter-free in the sense that it does not require any camera parameters, neither intrinsic nor extrinsic. Our key idea is that the 3D angles between skeletal parts, as well as bone lengths, are invariant to the camera position. Hence, learning 3D rotations and bone lengths rather than locations allows predicting common values for all camera views. Our network takes multiple video streams, learns fused deep features through a novel multi-view fusion layer, and reconstructs a single consistent skeleton with temporally coherent joint rotations. We demonstrate quantitative and qualitative results on the Human3.6M and KTH Multi-view Football II datasets. We compare our model to state-of-the-art methods that are not parameter-free and show that in the absence of camera parameters, we outperform them by a large margin while obtaining comparable results when camera parameters are available. Code, trained models, video demonstration, and additional materials will be available on our project page.

研究动机与目标

• 解决多视角 3D 人体动作重建方法依赖精确相机参数的局限性，尤其是在非受控、动态环境中的应用。
• 消除对内参和外参相机参数的依赖，从而实现在真实世界非受控环境中的部署。
• 开发一种统一的端到端模型，从多个视频流中重建出一致且时间连贯的 3D 人体骨骼，而无需相机标定。
• 利用几何不变性——特别是 3D 关节角度和骨骼长度——来提升模型的鲁棒性和泛化能力。

提出的方法

• FLEX 学习跨多个相机视角下不变的 3D 关节旋转和骨骼长度特征，从而避免对 3D 关节位置的依赖。
• 它采用一种新颖的多视角融合层，将来自多个视频流的深层特征聚合为共享表征。
• 网络以端到端方式训练，以重建单一、一致的 3D 骨骼序列，并保证时间连贯性。
• 该模型利用不同相机视角下 3D 角度和骨骼长度的几何不变性，统一各视角的预测结果。
• 它采用类似 Siamese 的架构，确保所有相机视角下 3D 姿态估计的一致性，且无需显式相机参数监督。
• 通过结合 3D 关键点回归损失和时间一致性损失进行训练，以确保重建动作序列的平滑与真实感。

实验结果

研究问题

• RQ1 是否可以实现不依赖相机参数（如内参或外参标定）的 3D 人体动作重建？
• RQ2 如何利用几何不变性——特别是 3D 关节角度和骨骼长度——来统一未标定相机下的多视角预测？
• RQ3 在非受控、动态环境中，无参数模型在多大程度上能超越需要相机参数的最先进方法？
• RQ4 深度学习模型是否能实现在多个未标定视频流上的稳定且时间连贯的 3D 动作重建？

主要发现

• 在 Human3.6M 和 KTH Multi-view Football II 数据集上，FLEX 在无相机参数条件下均优于最先进方法。
• 当提供相机参数时，FLEX 的性能与现有最佳参数依赖方法相当。
• 由于其无参数设计及对几何不变量的依赖，该模型在非受控、动态环境中表现出强鲁棒性。
• 新颖的多视角融合层有效实现了跨视角的特征聚合，提升了重建精度。
• 时间一致性损失显著提升了重建动作序列的平滑度与真实感。
• 该模型在多种相机配置下均表现出良好泛化能力，证实了学习不变 3D 旋转和骨骼长度的有效性。