[论文解读] Multi-Plane Program Induction with 3D Box Priors

Yikai Li, Jiayuan Mao+5 more|arXiv (Cornell University)|Nov 19, 2020

Cell Image Analysis Techniques参考文献 42被引用 5

一句话总结

该论文提出了一种名为框程序归纳（Box Program Induction, BPI）的方法，通过利用框先验建模多个2D平面上的重复图案及其3D姿态，从单张图像中推断出类似程序的3D场景表示。该方法借助神经网络检测诸如消失点和线框等视觉线索，引导基于搜索的程序推断，从而实现高结构保真度的3D感知图像编辑，包括修复、外推和视角合成。

ABSTRACT

We consider two important aspects in understanding and editing images: modeling regular, program-like texture or patterns in 2D planes, and 3D posing of these planes in the scene. Unlike prior work on image-based program synthesis, which assumes the image contains a single visible 2D plane, we present Box Program Induction (BPI), which infers a program-like scene representation that simultaneously models repeated structure on multiple 2D planes, the 3D position and orientation of the planes, and camera parameters, all from a single image. Our model assumes a box prior, i.e., that the image captures either an inner view or an outer view of a box in 3D. It uses neural networks to infer visual cues such as vanishing points, wireframe lines to guide a search-based algorithm to find the program that best explains the image. Such a holistic, structured scene representation enables 3D-aware interactive image editing operations such as inpainting missing pixels, changing camera parameters, and extrapolate the image contents.

研究动机与目标

• 通过联合建模2D图案和3D平面几何结构，实现在单张图像上的整体化、结构化场景理解。
• 克服先前程序合成方法仅假设单个可见平面的局限，通过引入框先验实现多平面场景建模。
• 支持如修复、外推和视角合成等3D感知的交互式图像编辑任务，保持结构一致性。
• 通过约束搜索和程序排序，提升对噪声或不准确视觉线索预测的鲁棒性。
• 实现对合成或单平面领域之外的多样化室内和室外场景的泛化能力。

提出的方法

• 假设存在框先验，将场景约束为由多个平面表面（如墙壁、地板、天花板）构成的封闭3D盒子。
• 使用预训练的神经网络预测中层视觉线索，如消失点、线框线段和主体分割结果。
• 通过枚举与推断出的视觉线索及框先验一致的所有程序，构建候选程序空间。
• 利用像素级重建损失对候选程序进行排序，选择最符合图像的程序。
• 采用程序引导的PatchMatch算法，将外推和新视角合成扩展至输入图像视锥范围之外。
• 通过修改推断出的程序，支持交互式编辑，包括调整相机参数、填充缺失区域或扩展图案。

实验结果

研究问题

• RQ1 单张图像场景理解系统能否联合推断多个表面上的重复2D图案及其3D平面姿态？
• RQ2 如何利用框先验来约束并提升多平面场景程序的推断效果？
• RQ3 学习到的视觉线索（如消失点、线框）在多大程度上能引导基于搜索的程序归纳过程？
• RQ4 程序引导的图像编辑能否在修复和视角外推过程中保持结构规律性？
• RQ5 该方法对视觉线索预测错误的鲁棒性如何？用户交互能否缓解失败情况？

主要发现

• 在图像修复任务中，BPI在人类偏好测试中达到61%，显著优于对比方法（Content-Aware Scaling为16%，InGAN为16%，Huang et al.为5%）。
• 在视角合成任务中，BPI在三条不同相机轨迹上分别获得100%、94%和99.5%的人类偏好，相较于SynSin展现出更优的结构保持能力。
• 该方法对噪声视觉线索具有鲁棒性：即使预测不准确，也能自动修正消失点并选择最优线框候选。
• BPI成功泛化至多样化场景，包括室内走廊和室外建筑，实现无需多视角输入的3D感知编辑。
• 失败案例主要源于线框误检（如缺失地板-墙面接合处）、纯色平面误分割或非规则几何结构，但可通过轻量级用户输入缓解。
• 推断出的程序可实现高质量的图案外推，避免了基于学习方法（如SynSin）常见的伪影问题。