[论文解读] LISA: Learning Implicit Shape and Appearance of Hands

Enric Corona, Tomáš Hodaň+5 more|arXiv (Cornell University)|Apr 4, 2022

Human Pose and Action Recognition被引用 4

一句话总结

LISA 是一种用于人体手部的神经隐式模型，能够从带有粗略 3D 手部骨骼标注的多视角 RGB 视频中，联合学习精确的 3D 形状、外观和姿态。通过使用基于骨骼的符号距离场和颜色预测，并结合通过学习得到的皮肤权重，LISA 在图像和点云上实现了最先进的重建质量，并实现了对形状、颜色和姿态参数的解耦控制。

ABSTRACT

This paper proposes a do-it-all neural model of human hands, named LISA. The model can capture accurate hand shape and appearance, generalize to arbitrary hand subjects, provide dense surface correspondences, be reconstructed from images in the wild and easily animated. We train LISA by minimizing the shape and appearance losses on a large set of multi-view RGB image sequences annotated with coarse 3D poses of the hand skeleton. For a 3D point in the hand local coordinate, our model predicts the color and the signed distance with respect to each hand bone independently, and then combines the per-bone predictions using predicted skinning weights. The shape, color and pose representations are disentangled by design, allowing to estimate or animate only selected parameters. We experimentally demonstrate that LISA can accurately reconstruct a dynamic hand from monocular or multi-view sequences, achieving a noticeably higher quality of reconstructed hand shapes compared to baseline approaches. Project page: https://www.iri.upc.edu/people/ecorona/lisa/.

研究动机与目标

• 开发一种神经隐式模型，以捕捉多样化受试者身上的详细的双手形状与外观。
• 实现在真实场景中，即使存在部分遮挡，也能从单目或多视角图像中实现精确的 3D 手部重建。
• 通过显式预测的皮肤权重提供密集的表面对应关系，以提升动画与控制性能。
• 实现对形状、颜色和姿态表征的解耦，以支持细粒度操作与泛化能力。
• 在合成数据和真实世界数据上，均优于现有的参数化网格模型与隐式模型，在重建精度方面表现更优。

提出的方法

• 利用带有粗略 3D 手部骨架标注的多视角 RGB 视频数据集，进行端到端训练。
• 将手部表示为一组刚性骨骼，每个骨骼在其局部坐标系中由独立的神经网络预测 SDF 和颜色。
• 使用预测的皮肤权重，将各骨骼的 SDF 和颜色预测组合为统一的隐式表示。
• 通过可微渲染管道，在训练过程中优化形状和外观损失。
• 采用两阶段优化：首先优化 3D 姿态，然后联合优化形状、姿态和颜色参数。
• 在 128³ 分辨率下重建高分辨率网格，用于可视化与渲染。

Figure 2 : Training and architecture of the LISA hand model. Left: LISA is trained by minimizing shape and appearance losses from a dataset of multi-view RGB image sequences. The sequences are assumed annotated with coarse 3D poses of the hand skeleton that are refined during training. The training

实验结果

研究问题

• RQ1 神经隐式表示能否有效建模复杂、可动的手部几何与外观，并实现解耦控制？
• RQ2 该模型在未见手部受试者和任意姿态下，从非约束图像中泛化的能力如何？
• RQ3 与 MANO 等参数化网格模型以及 NARF 或 NASA 等隐式模型相比，该模型能否实现更优的重建质量？
• RQ4 使用基于骨骼的预测结合学习得到的皮肤权重，是否能提升表面对应关系与重建保真度？
• RQ5 该模型在单张图像或存在遮挡的真实场景中，重建手部的能力达到何种程度？

主要发现

• LISA 在基于点云的 3D 手部重建中达到最先进性能，与真实扫描匹配时误差低于 1 毫米。
• 在 DeepHandMesh 数据集上，LISA-im 在仅使用 1 张图像时，形状重建的 PSNR 达到 27.45；使用 2 张图像时为 28.40；使用 4 张图像时为 28.27，优于所有仅使用图像的基线模型。
• 在 InterHand2.6M 图像上的颜色重建中，LISA-full 的 PSNR 为 28.27，SSIM 为 0.96，LPIPS 为 0.05，其感知质量优于 NASA 和 NARF。
• LISA 能够实现高保真度的真实场景重建，成功处理部分遮挡和复杂光照条件。
• 在单张 P100 GPU 上，每张视图的高质量新视角渲染约需一分钟。
• LISA 的解耦表示支持对形状、颜色和姿态的独立操作，实现精确控制与动画。