[论文解读] FOF: Learning Fourier Occupancy Field for Monocular Real-time Human Reconstruction

Feng Qiao, Yebin Liu+3 more|arXiv (Cornell University)|Jun 5, 2022

Anatomy and Medical Technology被引用 13

一句话总结

本文提出傅里叶占据场（FOF），一种新颖的3D几何表示方法，通过傅里叶级数在视图方向上表示占据情况，将3D人体形状编码为与2D图像对齐的场。通过将FOF存储为多通道图像，实现了端到端、实时的单目重建，速度超过30 FPS，精度达到当前最先进水平，兼容2D卷积神经网络，并可轻松转换为网格模型。

ABSTRACT

The advent of deep learning has led to significant progress in monocular human reconstruction. However, existing representations, such as parametric models, voxel grids, meshes and implicit neural representations, have difficulties achieving high-quality results and real-time speed at the same time. In this paper, we propose Fourier Occupancy Field (FOF), a novel powerful, efficient and flexible 3D representation, for monocular real-time and accurate human reconstruction. The FOF represents a 3D object with a 2D field orthogonal to the view direction where at each 2D position the occupancy field of the object along the view direction is compactly represented with the first few terms of Fourier series, which retains the topology and neighborhood relation in the 2D domain. A FOF can be stored as a multi-channel image, which is compatible with 2D convolutional neural networks and can bridge the gap between 3D geometries and 2D images. The FOF is very flexible and extensible, e.g., parametric models can be easily integrated into a FOF as a prior to generate more robust results. Based on FOF, we design the first 30+FPS high-fidelity real-time monocular human reconstruction framework. We demonstrate the potential of FOF on both public dataset and real captured data. The code will be released for research purposes.

研究动机与目标

• 为解决从单张图像实现高质量、实时3D人体重建的挑战。
• 通过统一效率、精度和兼容性，克服现有表示方法（如参数化模型、体素网格、网格和隐式神经场）的局限性。
• 设计一种连接2D图像与3D几何的3D表示，同时支持快速推理和网格提取。
• 通过简单、端到端的训练流程，实现实时重建（30+ FPS）并获得高保真结果。
• 支持与先验（如SMPL）的灵活集成，并实现FOF与网格之间的无缝转换。

提出的方法

• FOF将3D物体表示为与输入图像对齐的2D场，其中沿视图方向的占据情况通过傅里叶级数的前几项编码。
• 3D占据场在z方向近似为带限函数，降低内存占用并保持拓扑结构。
• FOF以多通道图像形式存储，支持与2D卷积神经网络兼容，实现高效推理。
• 神经网络通过图像到图像回归头从单张图像预测FOF，支持端到端训练。
• 通过在重建的占据场上应用等值面提取算法（Marching Cubes）从FOF中提取网格，并支持FOF与网格之间的双向转换。
• 可将参数化模型（如SMPL）作为先验集成，以提升模型的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 能否设计一种与2D对齐的3D表示，以同时实现高保真重建与实时推理？
• RQ2 沿视图方向对占据场使用傅里叶级数表示，能否在保持几何细节的同时实现高效计算与网格提取？
• RQ3 与隐式神经场和基于网格的方法相比，FOF在速度、精度以及与深度学习框架的兼容性方面表现如何？
• RQ4 FOF能否支持与参数化模型的集成，并实现与网格之间的双向转换？
• RQ5 FOF能否在复杂人体形状与衣物上实现30+ FPS的实时性能，且不牺牲重建质量？

主要发现

• 所提出的FOF表示实现了30+ FPS的实时单目人体重建，速度优于以往方法，同时保持了高重建质量。
• 在测试集上，FOF在所有对比方法中取得了最低的Chamfer距离和P2S距离，仅在法线图像误差上略高于PIFuHD。
• 当使用N=15个傅里叶系数时，FOF保留了最多的几何细节；而当N≤12时出现明显伪影，证实了足够谐波项的重要性。
• 视觉结果表明，FOF能稳健重建多种姿态与衣物细节，且由于带限近似，高频噪声显著减少。
• 该方法支持FOF与网格之间的无缝转换，并可集成SMPL作为先验以提升鲁棒性。
• 基于FOF的流水线支持端到端训练，兼容标准2D卷积神经网络，可高效部署于3DTV与全息远程通信系统。