[论文解读] Generative View Synthesis: From Single-view Semantics to Novel-view Images

Tewodros Habtegebrial, Varun Jampani+2 more|arXiv (Cornell University)|Aug 20, 2020

Computer Graphics and Visualization Techniques被引用 7

一句话总结

本文提出生成式视图合成（GVS），一种通过联合估计3D场景布局与外观，从单张2D语义图生成逼真且几何一致的新视角图像的方法。该方法将语义信息提升为3D分层表示，将分层特征投影至目标视角，并生成高保真、视角一致的图像，支持风格编辑与语义操作。

ABSTRACT

Content creation, central to applications such as virtual reality, can be a tedious and time-consuming. Recent image synthesis methods simplify this task by offering tools to generate new views from as little as a single input image, or by converting a semantic map into a photorealistic image. We propose to push the envelope further, and introduce Generative View Synthesis (GVS), which can synthesize multiple photorealistic views of a scene given a single semantic map. We show that the sequential application of existing techniques, e.g., semantics-to-image translation followed by monocular view synthesis, fail at capturing the scene's structure. In contrast, we solve the semantics-to-image translation in concert with the estimation of the 3D layout of the scene, thus producing geometrically consistent novel views that preserve semantic structures. We first lift the input 2D semantic map onto a 3D layered representation of the scene in feature space, thereby preserving the semantic labels of 3D geometric structures. We then project the layered features onto the target views to generate the final novel-view images. We verify the strengths of our method and compare it with several advanced baselines on three different datasets. Our approach also allows for style manipulation and image editing operations, such as the addition or removal of objects, with simple manipulations of the input style images and semantic maps respectively. Visit the project page at https://gvsnet.github.io.

研究动机与目标

• 解决从单张语义图生成几何与光照一致的新视角图像的挑战，而现有顺序式流水线无法充分应对此问题。
• 克服先应用语义到图像翻译再进行单目视图合成的局限性，后者常导致不同视角间结构不一致。
• 利用语义图中明确的遮挡边界，提升3D场景结构估计与视角一致性。
• 通过允许用户编辑语义（如物体插入/删除）并实现跨所有新视角的无缝传播，实现直观的内容创作。
• 展示从单视角语义直接预测高质量深度图的能力，为下游3D感知应用提供支持。

提出的方法

• 使用语义层与透明度层相结合的混合结构，将输入的2D语义图提升为3D分层表示——称为‘提升后的语义’，以降低内存开销。
• 通过神经网络将提升后的语义转换为分层外观特征，保留特征空间中的语义与几何结构。
• 利用可微分的扭曲与混合操作，将分层外观特征投影至目标视角平面，生成新视角特征。
• 使用轻量级优化网络将投影后的特征转换为最终的RGB图像，确保逼真感与一致性。
• 在MPI平面间整合透明度估计（alpha），实现仅从语义信息预测深度图，增强对3D结构的理解。
• 通过将外观转换条件化于风格图像，实现风格编辑；并通过直接修改输入语义图，支持语义编辑。

实验结果

研究问题

• RQ1 能否仅使用单张语义图生成多张逼真且几何一致的新视角图像，而无需输入RGB图像？
• RQ2 联合从语义中估计3D布局与外观是否优于顺序应用语义到图像翻译与单目视图合成？
• RQ3 由于语义图具有明确的遮挡边界，是否能为视图合成提供比RGB图像更强的结构先验？
• RQ4 在仅使用单张语义图的情况下，语义编辑（如物体插入/删除）在多张新视角中的一致性传播程度如何？
• RQ5 能否直接从单张语义输入估计高质量深度图？其性能与基于RGB的深度估计方法相比如何？

主要发现

• GVSNet在保持细长结构与遮挡边界方面，显著优于基线方法（如SPADE + 单图像MPI），生成的视角几何一致性更高。
• 与SUN+SPADE相比，本方法在视角一致性方面表现更优，后者因各视角独立进行图像翻译而产生结构不一致。
• 仅从语义信息估计的深度图比在RGB上训练的MonoDepth更准确，尤其在细长或精细结构区域。
• 该方法支持有效的语义编辑：在2D语义图中插入或删除物体，可在所有视角生成一致且逼真的新视图图像。
• 模型在数据集间具有良好的泛化能力（CARLA、Cityscapes、Virtual-KITTI-2），证明了3D感知语义提升与特征投影流程的鲁棒性与可迁移性。
• 混合分层表示（语义层 + 透明度层）在保持高质量合成与深度估计的同时，有效降低了内存使用。