[论文解读] Conv-MPN: Convolutional Message Passing Neural Network for Structured Outdoor Architecture Reconstruction

Fuyang Zhang, Nelson Nauata+1 more|arXiv (Cornell University)|Dec 4, 2019

Remote Sensing and LiDAR Applications参考文献 37被引用 5

一句话总结

本文提出 Conv-MPN，一种新型图神经网络，通过将节点特征表示为三维体积并使用卷积进行消息传递，从单张 RGB 图像中重建室外建筑的平面图结构。该方法在结构化几何重建任务中达到最先进性能，显著优于以往无需先验约束的神经方法，通过端到端从数据中学习结构先验知识。

ABSTRACT

This paper proposes a novel message passing neural (MPN) architecture Conv-MPN, which reconstructs an outdoor building as a planar graph from a single RGB image. Conv-MPN is specifically designed for cases where nodes of a graph have explicit spatial embedding. In our problem, nodes correspond to building edges in an image. Conv-MPN is different from MPN in that 1) the feature associated with a node is represented as a feature volume instead of a 1D vector; and 2) convolutions encode messages instead of fully connected layers. Conv-MPN learns to select a true subset of nodes (i.e., building edges) to reconstruct a building planar graph. Our qualitative and quantitative evaluations over 2,000 buildings show that Conv-MPN makes significant improvements over the existing fully neural solutions. We believe that the paper has a potential to open a new line of graph neural network research for structured geometry reconstruction.

研究动机与目标

• 为解决在透视缩短导致曼哈顿假设不成立时，从单张 RGB 图像中重建复杂且结构化的室外建筑几何形状的挑战。
• 克服现有方法依赖手工设计优化约束或无法建模内部建筑特征的局限性。
• 开发一种深度学习架构，能够自动从数据中学习高层次几何关系与结构先验知识，而无需显式结构约束。
• 实现包含内部与外部建筑特征线的平面图结构的端到端学习。

提出的方法

• Conv-MPN 将每个节点的特征表示为三维体积（例如 64×64×32），而非一维向量，以保留空间上下文信息。
• 使用三维卷积在节点之间编码并传递消息，替代标准 MPN 中的全连接层。
• 该架构在节点间进行迭代消息传递，通过多轮迭代逐步优化节点特征与图结构。
• 节点特征初始值由基于 CNN 的角点检测网络生成，并通过可学习的卷积聚合机制进行消息传递更新。
• 一条线验证模块基于优化后的节点特征与几何一致性，评估候选边的可靠性。
• 模型在包含 2,000 幢复杂建筑的 Atlanta、Las Vegas 和 Paris 数据集上进行端到端训练，监督信号包括节点存在性与边连接性。

实验结果

研究问题

• RQ1 具有三维特征体积与卷积消息传递的图注意力网络是否能在复杂室外建筑结构重建中超越标准 MPN？
• RQ2 纯粹的神经架构在无需手工设计优化约束的情况下，能在多大程度上学习结构先验（如平面性、连通性）？
• RQ3 与基于图的重建中的一维向量表示相比，三维特征体积在几何推理方面有何改进？
• RQ4 迭代消息传递对最终重建质量的贡献有多大，特别是在区域级几何结构方面？
• RQ5 当受限于内存时，该模型在具有大量角点的大规模建筑上的泛化能力如何？其失败模式是什么？

主要发现

• Conv-MPN 在 2,000 幢复杂建筑的定性与定量评估中，显著优于所有先前无需先验约束的神经方法。
• 与使用一维特征向量的基线 GNN 相比，该模型在区域级指标上表现更优，证明三维特征体积表示在几何推理方面具有显著优势。
• 通过卷积进行消息传递在各轮迭代中均带来稳定性能提升，Conv-MPN (t=3) 在达到饱和前表现最佳。
• 消融实验证实，特征体积表示与消息传递机制均至关重要，当任一组件被移除时性能显著下降。
• 尽管表现优异，Conv-MPN 在缺失角点及大型建筑（≥30 个角点）上仍存在困难，这主要是由于训练数据中此类样本因内存限制而代表性不足。
• Conv-MPN 在区域 F1 分数上超越了先前最先进方法（Nauata et al., 2021），且未使用手工设计目标，证明其具备端到端学习结构先验的能力。