[论文解读] Learning to Search on Manifolds for 3D Pose Estimation of Articulated Objects

Yu Zhang, Chi Xu+1 more|arXiv (Cornell University)|Dec 2, 2016

Human Pose and Action Recognition参考文献 5被引用 10

一句话总结

本文提出一种深度学习方法，将刚性物体的3D姿态估计建模为流形上的结构化预测问题，利用卷积神经网络通过李群上的切向量逐步预测关节位置。该方法在人体手部、小鼠和鱼类基准测试中实现了最先进性能，推理速度达到实时（>30 FPS），尤其在序列推理变体（deep-L2S-seq）下显著提升了精度。

ABSTRACT

This paper focuses on the challenging problem of 3D pose estimation of a diverse spectrum of articulated objects from single depth images. A novel structured prediction approach is considered, where 3D poses are represented as skeletal models that naturally operate on manifolds. Given an input depth image, the problem of predicting the most proper articulation of underlying skeletal model is thus formulated as sequentially searching for the optimal skeletal configuration. This is subsequently addressed by convolutional neural nets trained end-to-end to render sequential prediction of the joint locations as regressing a set of tangent vectors of the underlying manifolds. Our approach is examined on various articulated objects including human hand, mouse, and fish benchmark datasets. Empirically it is shown to deliver highly competitive performance with respect to the state-of-the-arts, while operating in real-time (over 30 FPS).

研究动机与目标

• 解决从单张深度图像对多样化刚性物体进行3D姿态估计的挑战，尤其当关节构型受运动学结构约束时。
• 将3D姿态估计建模为基于骨骼模型参数化为李群的连续流形输出空间上的结构化预测问题。
• 将原本用于离散输出空间的“学习-搜索”（L2S）范式，扩展至连续的、流形值输出空间，通过深度神经网络实现。
• 开发一种新型基于卷积神经网络的框架，直接回归姿态流形上的切向量，支持端到端训练与实时推理。
• 在真实时间约束下，于多种刚性物体类别（包括人体手部、小鼠和鱼类）中展示优越性能。

提出的方法

• 将3D姿态表示为骨骼模型，其中关节构型位于李群上，形成编码运动学约束的底层姿态流形。
• 将姿态估计任务建模为在流形上的序列搜索，通过卷积神经网络逐个预测关节位置，利用切向量回归。
• 训练两种变体：deep-L2S-para（单个CNN同时预测所有关节）和 deep-L2S-seq（使用多个CNN逐关节迭代优化）。
• 利用卷积神经网络在每一步回归流形上的切向量，实现可微分优化与端到端训练。
• 利用前向运动学将关节变换映射为3D关节位置，确保预测姿态的物理合理性。
• 应用李群理论，将刚性变换（旋转与平移）分别建模为 SO(3) 和 R^3 的元素，构成输出空间的流形结构。

实验结果

研究问题

• RQ1 能否将‘学习-搜索’（L2S）范式有效扩展至3D姿态估计的连续、流形值输出空间？
• RQ2 将3D姿态建模为李群上切向量的序列预测，相较于直接回归，如何提升精度与泛化能力？
• RQ3 在复杂刚性物体上，序列优化（deep-L2S-seq）是否在姿态精度与鲁棒性方面优于联合预测（deep-L2S-para）？
• RQ4 所提方法在不同骨架复杂度的多样化刚性物体（如手部、小鼠和鱼类）上，其泛化能力如何？
• RQ5 该框架是否能在保持最先进精度的同时，实现>30 FPS的实时推理性能？

主要发现

• deep-L2S-seq 在鱼类基准测试中实现了最低的平均关节误差（0.66 mm），优于 Lie-X（0.68 mm）及其他基线方法。
• 在 NYU 手部数据集上，deep-L2S-seq 的平均关节误差为 14.15 mm，显著优于 Lie-X（14.59 mm）和 CNN-baseline（16.13 mm）。
• 视觉对比显示，deep-L2S-seq 在纠正错位手指关节方面持续优于 deep-L2S-para 和基线方法，尤其在手部姿态中表现突出。
• 累积误差分布表明，deep-L2S-seq 在大多数误差区间内均保持更优性能，尤其在手部与鱼类基准的 5–80 mm 范围内表现更佳。
• 该方法实现了实时推理速度（>30 FPS），证明了其在真实应用场景中的实际可行性。
• 失败案例主要源于小鼠数据中的噪声深度信号以及手部数据中的手指遮挡，表明其对输入质量与复杂关节构型具有一定敏感性。