[论文解读] Enhancement of Novel View Synthesis Using Omnidirectional Image Completion

Takayuki Hara, Tatsuya Harada|arXiv (Cornell University)|Mar 18, 2022

Advanced Vision and Imaging被引用 6

一句话总结

该论文提出了一种新颖的方法，通过利用自监督的360°图像补全网络来填补重投影视图中被遮挡和低分辨率的区域，从而实现从单个360° RGB-D图像进行高质量的新视角合成。通过使用模拟退火法求解最大权独立集公式，选择重叠最少的一组完成图像，该方法提升了三维一致性，并在真实和合成数据集上的定性和定量评估中均优于先前的工作（如OmniNeRF）。

ABSTRACT

In this study, we present a method for synthesizing novel views from a single 360-degree RGB-D image based on the neural radiance field (NeRF) . Prior studies relied on the neighborhood interpolation capability of multi-layer perceptrons to complete missing regions caused by occlusion and zooming, which leads to artifacts. In the method proposed in this study, the input image is reprojected to 360-degree RGB images at other camera positions, the missing regions of the reprojected images are completed by a 2D image generative model, and the completed images are utilized to train the NeRF. Because multiple completed images contain inconsistencies in 3D, we introduce a method to learn the NeRF model using a subset of completed images that cover the target scene with less overlap of completed regions. The selection of such a subset of images can be attributed to the maximum weight independent set problem, which is solved through simulated annealing. Experiments demonstrated that the proposed method can synthesize plausible novel views while preserving the features of the scene for both artificial and real-world data.

研究动机与目标

• 为解决从单个360° RGB-D图像合成高质量新视角的挑战，该方法缺乏足够的多视角监督。
• 克服现有单图像NeRF方法中因依赖MLP邻域插值处理遮挡区域而产生的伪影和模糊问题。
• 通过最小化多个重投影图像中完成区域的重叠，提升新合成视图之间的三维一致性。
• 通过筛选覆盖场景且几何不一致性较低的图像子集，实现NeRF的训练。
• 在合成数据集和真实世界数据集上，验证结合自监督360°图像补全与NeRF训练的有效性。

提出的方法

• 将输入的360° RGB-D图像重投影到多个虚拟相机位置的360°图像中，以模拟新视角。
• 应用一个自监督的360°图像补全网络，该网络经过训练以模拟因视角变化导致的遮挡和分辨率变化，从而填补重投影图像中的缺失区域。
• 将训练图像的选择建模为最大权独立集问题，以最小化完成区域的重叠，从而增强三维一致性。
• 使用模拟退火法求解最大权独立集问题，以识别用于NeRF训练的最优完成图像子集。
• 仅在所选的完成图像子集上训练NeRF模型，以确保几何一致性并减少伪影。
• 使用训练好的NeRF生成新视角，以保持场景细节并呈现高度逼真的视觉效果。

实验结果

研究问题

• RQ1 自监督的360°图像补全能否提升从单个360° RGB-D图像进行新视角合成的质量？
• RQ2 选择重叠最少的完成图像子集是否能提升基于NeRF的新视角合成中的三维一致性？
• RQ3 在真实和合成数据上，该方法与OmniNeRF相比，在图像质量和伪影减少方面表现如何？
• RQ4 该图像补全网络在处理新视角中遮挡和分辨率变化方面的泛化能力如何？
• RQ5 该方法是否可适用于任意NeRF模型，而无需迭代优化或额外的训练循环？

主要发现

• 在Structure3D和Matterport3D数据集上，所提方法在所有评估指标上均优于OmniNeRF，表现出更优的图像质量和更少的伪影。
• 消融研究证实，图像选择显著提升了LPIPS和NLL得分，表明语义相似性和图像合理性得到改善，尤其在Matterport3D数据集中表现明显。
• 若不进行图像选择，NeRF模型因完成区域重叠导致的三维不一致而生成模糊图像，从而降低感知质量和似然度指标。
• 当评估点远离输入图像时，该方法的PSNR和SSIM优于OmniNeRF，这得益于非选中设置下的鲁棒性。
• 图像补全网络在未见场景中表现出良好的泛化能力，即使在不同视角条件下也能合理补全遮挡区域。
• 该方法在合成数据（Structure3D）和真实世界数据（Matterport3D）上均表现有效，证实了其鲁棒性和泛化能力。