[论文解读] FourierHandFlow: Neural 4D Hand Representation Using Fourier Query Flow

Ji‐Hyun Lee, Junbong Jang+3 more|arXiv (Cornell University)|Jul 16, 2023

Human Pose and Action RecognitionComputer Science被引用 3

一句话总结

FourierHandFlow 提出了一种新颖的神经 4D 手部表征方法，通过傅里叶编码的查询流，从单目 RGB 视频中建模连续、平滑的时序手部形变。通过隐式线性混合皮肤化和逐查询位移学习固定的傅里叶系数以表示姿态与形状的形变流，该方法在保持计算效率的同时，实现了当前最优的 4D 重建精度。

ABSTRACT

Recent 4D shape representations model continuous temporal evolution of implicit shapes by (1) learning query flows without leveraging shape and articulation priors or (2) decoding shape occupancies separately for each time value. Thus, they do not effectively capture implicit correspondences between articulated shapes or regularize jittery temporal deformations. In this work, we present FourierHandFlow, which is a spatio-temporally continuous representation for human hands that combines a 3D occupancy field with articulation-aware query flows represented as Fourier series. Given an input RGB sequence, we aim to learn a fixed number of Fourier coefficients for each query flow to guarantee smooth and continuous temporal shape dynamics. To effectively model spatio-temporal deformations of articulated hands, we compose our 4D representation based on two types of Fourier query flow: (1) pose flow that models query dynamics influenced by hand articulation changes via implicit linear blend skinning and (2) shape flow that models query-wise displacement flow. In the experiments, our method achieves state-of-the-art results on video-based 4D reconstruction while being computationally more efficient than the existing 3D/4D implicit shape representations. We additionally show our results on motion inter- and extrapolation and texture transfer using the learned correspondences of implicit shapes. To the best of our knowledge, FourierHandFlow is the first neural 4D continuous hand representation learned from RGB videos. The code will be publicly accessible.

研究动机与目标

• 为解决从单目 RGB 视频中缺乏连续、平滑且高效的 4D 手部重建问题。
• 克服现有 4D 隐式表征方法的局限性，如运动抖动、计算成本高以及对应关系建模差。
• 通过解耦姿态与形状相关的形变，实现隐式形状对应关系下的关节化手部建模。
• 通过傅里叶级数在频域学习时序动态，自然地正则化平滑运动。

提出的方法

• 该方法结合 3D 占位场与两种类型的傅里叶查询流：姿态流和形状流，二者均由三角基函数的固定系数参数化。
• 姿态流通过学习关节轨迹的傅里叶系数建模，利用频域先验对噪声较大的逐帧预测进行去噪。
• 通过预训练的隐式线性混合皮肤化（LBS）权重场，将姿态流传播至每个查询点，以计算逐查询运动。
• 形状流作为表示相对于姿态流的逐查询位移的傅里叶系数学习，捕捉如软组织效应等非线性形变。
• 整个 4D 表征从 RGB 序列端到端训练，推理时通过逆傅里叶合成重建查询流。
• 该方法避免求解 ODE 或逐时间步解码占位，从而在保持时间连续性的同时实现更快的推理速度。

实验结果

研究问题

• RQ1 傅里叶编码的查询流是否能有效正则化从单目 RGB 视频中获得的连续、平滑的 4D 手部形状动态？
• RQ2 在频域中学习查询流与在空间域或基于 ODE 的方法相比，在重建精度和效率方面表现如何？
• RQ3 解耦的姿态流与形状流组件是否能同时建模关节化手部几何结构，并在时间上保持隐式形状对应关系？
• RQ4 该方法在未见 RGB 输入上的泛化能力如何？是否支持纹理迁移和运动外推等下游任务？

主要发现

• FourierHandFlow 在基于视频的 4D 手部重建任务上达到当前最优性能，在 InterHand2.6M TH 子集上 IoU 达 62.8%，Chamfer Distance 为 4.46 mm。
• 消融实验表明，姿态流与形状流均至关重要，移除任一成分均导致性能显著下降（例如，无姿态流时 IoU 降至 50.1%）。
• 在频域中建模查询流的表现优于基于 ODE 和输入条件的基线方法，IoU 提高 1.8%，CD 降低 0.4 mm，优于次优变体。
• 该方法利用学习到的隐式对应关系，实现了高质量的纹理迁移，即使在不同序列之间也能实现。
• 运动内插与外推结果表明，手部形状在未见时间点上实现了平滑的时间演化，验证了 4D 表征的时间连续性。
• 在真实世界 RGB2Hands 图像上实现了合理重建，表明方法对分布偏移具有鲁棒性。