[论文解读] ForkNet: Multi-branch Volumetric Semantic Completion from a Single Depth Image

Yida Wang, David Joseph Tan+2 more|arXiv (Cornell University)|Sep 3, 2019

Advanced Vision and Imaging参考文献 26被引用 8

一句话总结

ForkNet 提出了一种用于从单张深度图像进行3D语义补全的多分支生成模型，采用共享潜在空间，结合单个编码器与三个专用生成器（分别用于几何、语义和部分表面重建）。通过生成逼真的合成训练数据、使用跨分支特征连接以及多判别器，该方法在合成数据集（SUNCG）和真实世界数据集（NYU）上均实现了最先进性能，在ShapeNet上的平均IoU达到84.1%，在真实世界3D物体补全任务中达到23.8%。

ABSTRACT

We propose a novel model for 3D semantic completion from a single depth image, based on a single encoder and three separate generators used to reconstruct different geometric and semantic representations of the original and completed scene, all sharing the same latent space. To transfer information between the geometric and semantic branches of the network, we introduce paths between them concatenating features at corresponding network layers. Motivated by the limited amount of training samples from real scenes, an interesting attribute of our architecture is the capacity to supplement the existing dataset by generating a new training dataset with high quality, realistic scenes that even includes occlusion and real noise. We build the new dataset by sampling the features directly from latent space which generates a pair of partial volumetric surface and completed volumetric semantic surface. Moreover, we utilize multiple discriminators to increase the accuracy and realism of the reconstructions. We demonstrate the benefits of our approach on standard benchmarks for the two most common completion tasks: semantic 3D scene completion and 3D object completion.

研究动机与目标

• 解决从单张深度图像进行3D语义补全时配对训练数据稀缺的问题。
• 克服现有基准数据集（如SUNCG）中语义标注不精确或存在噪声的问题。
• 提升在强遮挡条件下的泛化能力与生成结果的真实感。
• 实现具有精细几何细节和准确语义标注的完整体素场景的高质量生成。
• 构建一个统一框架，结合监督学习与无监督学习，以提升模型鲁棒性。

提出的方法

• 一个单一编码器使用符号距离函数（SDF）表示法，将输入深度图像压缩到共享潜在空间。
• 三个并行生成器将潜在码解码为：(i) 部分体素表面，(ii) 完整的几何体素，以及 (iii) 完整的语义体素。
• 跨分支跳跃连接将几何分支与语义分支对应层的特征进行拼接，利用几何上下文提升语义准确性。
• 通过从潜在空间采样生成合成训练数据，生成带有真实遮挡和噪声的配对部分与完整场景。
• 使用多个判别器优化生成结果，提升真实感与细微几何细节。
• 模型结合监督重建损失与无监督一致性损失，以平衡准确性与泛化能力。

实验结果

研究问题

• RQ1 共享潜在空间结合多分支生成器是否能提升从单张深度图像进行3D语义补全的性能？
• RQ2 从潜在空间生成的合成数据是否能有效增强真实世界训练数据在3D补全任务中的表现？
• RQ3 几何与语义分支之间的跨分支特征融合是否能提升语义标注的准确性？
• RQ4 多个判别器是否能显著提升完成3D场景的真实感与几何保真度？
• RQ5 所提方法在具有挑战性遮挡和噪声标注的真实世界数据集上的表现如何？

主要发现

• 在ShapeNet基准上，ForkNet实现了84.1%的平均IoU，较之前最先进方法在合成3D物体补全任务上提升6.5%。
• 在真实世界3D-RecGAN测试集上，ForkNet达到23.8%的IoU，较3D-RecGAN提升7.3%，较Han等人[13]提升9.8%。
• 无监督一致性损失对性能贡献最大，在SUNCG数据集上使IoU提升5.2%。
• 消融实验表明，若移除场景一致性损失，平均IoU降至80.4%，证实其在保持结构一致性方面具有关键作用。
• 模型能从潜在空间生成高质量、逼真的训练样本，有效缓解数据稀缺问题并提升泛化能力。
• 尽管表现优异，该模型在处理细小或纤细结构（如椅子腿）时仍存在困难，表明未来在结构保持方面仍有改进空间。