[论文解读] 3D Appearance Super-Resolution with Deep Learning

Yawei Li, Vagia Tsiminaki+3 more|arXiv (Cornell University)|Jun 3, 2019

Advanced Image Processing Techniques参考文献 48被引用 4

一句话总结

本文提出了3DASR数据集及一种基于深度学习的3D外观超分辨率框架，通过在2D超分辨率网络中引入法线图等3D几何先验信息，实现对3D外观的超分辨率重建。该方法在性能上可与基于模型的方法相媲美，同时支持快速、前馈式的推理，首次实现了将深度学习技术整合到多视角3D纹理超分辨率任务中，并在真实与合成数据上取得成功应用。

ABSTRACT

We tackle the problem of retrieving high-resolution (HR) texture maps of objects that are captured from multiple view points. In the multi-view case, model-based super-resolution (SR) methods have been recently proved to recover high quality texture maps. On the other hand, the advent of deep learning-based methods has already a significant impact on the problem of video and image SR. Yet, a deep learning-based approach to super-resolve the appearance of 3D objects is still missing. The main limitation of exploiting the power of deep learning techniques in the multi-view case is the lack of data. We introduce a 3D appearance SR (3DASR) dataset based on the existing ETH3D [42], SyB3R [31], MiddleBury, and our Collection of 3D scenes from TUM [21], Fountain [51] and Relief [53]. We provide the high- and low-resolution texture maps, the 3D geometric model, images and projection matrices. We exploit the power of 2D learning-based SR methods and design networks suitable for the 3D multi-view case. We incorporate the geometric information by introducing normal maps and further improve the learning process. Experimental results demonstrate that our proposed networks successfully incorporate the 3D geometric information and super-resolve the texture maps.

研究动机与目标

• 通过将2D超分辨率方法适配至3D纹理领域，弥合基于深度学习的2D超分辨率与3D多视角外观重建之间的差距。
• 解决缺乏大规模、多样化3D纹理数据集的问题，这些数据集需包含成对的高分辨率与低分辨率纹理图，以支持训练与评估。
• 将3D几何信息（特别是法线图）融入2D深度学习网络，以提升纹理超分辨率的质量。
• 证明基于深度学习的3D外观超分辨率方法可在保持快速前馈推理的同时，实现与计算量庞大的基于模型方法相当的性能。
• 通过实现数据驱动、可扩展且高效的3D物体外观超分辨率，开启3D内容创作的新研究方向。

提出的方法

• 作者通过整合来自ETH3D、SyB3R、MiddleBury、TUM、Fountain和Relief的真实与合成3D场景，构建了3DASR数据集，提供高分辨率（HR）与低分辨率（LR）纹理图、3D网格、图像、投影矩阵以及法线图。
• 将图像形成过程建模为3D几何到纹理映射与纹理到图像投影的组合，从而能够从同一原始高分辨率纹理图一致地生成LR与HR纹理对。
• 所提出的框架通过在2D深度学习超分辨率网络（如EDSR）中引入法线图作为额外输入通道，编码局部3D表面几何信息，实现对2D方法的适配。
• 该方法包含一种微调策略（EDSR-FT），用于将预训练的2D模型适配至纹理领域，其性能优于标准插值方法与基线网络。
• 框架评估了多种变体：EDSR-FT、NLR（低分辨率法线图）与NHR（高分辨率法线图），以研究几何先验信息与数据精度的影响。
• 训练与评估流程采用子集上的交叉验证与全数据集训练相结合的方式，以评估数据规模与子集特性的影响力。

实验结果

研究问题

• RQ1 在缺乏领域专用数据的情况下，基于深度学习的超分辨率方法能否有效适配至3D多视角外观超分辨率任务？
• RQ2 通过法线图引入3D几何信息后，与标准2D超分辨率方法相比，能否显著提升超分辨率纹理图的质量？
• RQ3 在模型泛化能力方面，训练数据规模与子集特定特征相比，哪个因素更具决定性影响？
• RQ4 在PSNR指标与推理速度方面，所提出的基于深度学习的方法与成熟的基于模型的超分辨率方法相比表现如何？
• RQ5 与低分辨率法线图相比，高分辨率法线图是否能进一步提升重建质量？

主要发现

• 所提出的基于深度学习的3DASR框架在PSNR指标上与基于模型的方法（如HRST）相当，尤其在MiddleBury和Collection数据集上表现突出，尽管其为快速前馈网络。
• 引入法线图显著提升了重建质量：NHR（高分辨率法线图）优于NLR（低分辨率法线图），表明几何细节有助于纹理恢复。
• 训练数据规模比子集特定特征更具关键影响；NLR（全数据集）优于NLR-Sub（交叉验证子集），尤其在ETH3D等大规模数据集上表现更优。
• 在纹理领域对EDSR模型进行微调（EDSR-FT）的效果优于使用预训练模型，表明领域自适应对纹理特定性能至关重要。
• 在ETH3D数据集上，基于模型的HRST方法性能仍略胜于深度学习方法，但PSNR差距较小，表明该深度学习方法具备竞争力。
• 视觉结果表明，所提方法能恢复更精细的纹理细节，并避免双三次插值与标准EDSR中常见的模糊与白像素伪影。