[论文解读] Deep Reinforcement Learning of Volume-guided Progressive View Inpainting for 3D Point Scene Completion from a Single Depth Image

Xiaoguang Han, Zhaoxuan Zhang+8 more|arXiv (Cornell University)|Mar 10, 2019

Advanced Vision and Imaging参考文献 55被引用 9

一句话总结

本文提出了一种基于深度强化学习的3D点云场景补全框架，通过体素引导的渐进式多视角修复，从单张深度图像中实现高质量重建。通过联合优化3D体素重建、2D深度图修复与视角选择，采用DQN策略，该方法在SUNCG数据集上显著优于先前方法，在准确率与完整性方面均达到当前最优性能。

ABSTRACT

We present a deep reinforcement learning method of progressive view inpainting for 3D point scene completion under volume guidance, achieving high-quality scene reconstruction from only a single depth image with severe occlusion. Our approach is end-to-end, consisting of three modules: 3D scene volume reconstruction, 2D depth map inpainting, and multi-view selection for completion. Given a single depth image, our method first goes through the 3D volume branch to obtain a volumetric scene reconstruction as a guide to the next view inpainting step, which attempts to make up the missing information; the third step involves projecting the volume under the same view of the input, concatenating them to complete the current view depth, and integrating all depth into the point cloud. Since the occluded areas are unavailable, we resort to a deep Q-Network to glance around and pick the next best view for large hole completion progressively until a scene is adequately reconstructed while guaranteeing validity. All steps are learned jointly to achieve robust and consistent results. We perform qualitative and quantitative evaluations with extensive experiments on the SUNCG data, obtaining better results than the state of the art.

研究动机与目标

• 解决从存在严重遮挡的单张深度图像中重建高质量3D点云的挑战。
• 克服现有分类-搜索方法及2D/3D网络融合方法在处理不完整输入与泛化能力差方面的局限性。
• 开发一种渐进式、视角感知的补全策略，动态选择最优视角以最小化误差累积。
• 将体素上下文信息融入2D修复过程，以提升全局一致性与重建质量。
• 通过端到端深度强化学习，联合优化3D补全、2D修复与视角路径规划。

提出的方法

• 该方法使用3D体素重建分支，从输入深度图生成体素引导信号。
• 多视角卷积神经网络（MVCNN）近似DQN策略，根据当前点云状态选择下一个最佳视角。
• 体素引导的2D修复网络将低分辨率3D体素特征与2D深度图输入融合，以增强全局上下文理解。
• 2D修复网络通过反向传播损失与3D分支联合优化，实现端到端联合训练。
• 恢复的2D深度像素被重新投影到3D空间，并在多轮迭代中整合到全局点云中。
• DQN智能体使用密集奖励函数进行训练，该函数结合了准确率（与真实值的距离）和孔洞填充效率（缺失区域的减少量）。

实验结果

研究问题

• RQ1 深度强化学习策略能否有效选择最优视角序列以实现渐进式3D场景补全？
• RQ2 引入3D体素特征在遮挡区域中能否提升2D深度图修复的质量？
• RQ3 联合优化3D与2D网络是否能比解耦方法带来更高的重建准确率与完整性？
• RQ4 视角序列的选择如何影响误差累积与最终重建质量？
• RQ5 体素引导的多视角修复策略是否优于单视角或均匀采样视角的方法？

主要发现

• 所提方法在SUNCG数据集上表现最佳，完整性指标在0.10阈值下达到0.942，显著优于先前SOTA方法。
• 体素引导的2D修复网络在PSNR达到24.73，SSIM达到0.930，相比无体素引导或无反向传播的消融变体，图像质量更优。
• 基于DQN的视角路径规划相比均匀采样减少了误差累积，其中U_10（10个视角）结果劣于学习到的策略。
• 消融实验表明，体素引导与端到端反向传播均至关重要：移除体素引导导致PSNR下降1.58，SSIM下降0.02。
• 视觉对比显示，该方法在复杂遮挡区域中恢复了更多表面细节与缺失点，优于SSCNet及其他基线方法。
• 该方法在Chamfer Distance（CD）上达到0.0048，为所有对比方法中最低，表明其几何精度更优。