[论文解读] SSIG: A Visually-Guided Graph Edit Distance for Floor Plan Similarity

Casper van Engelenburg, Seyran Khademi+1 more|arXiv (Cornell University)|Sep 8, 2023

3D Surveying and Cultural HeritageEarth and Planetary Sciences被引用 3

一句话总结

本文提出 SSIG，一种视觉引导的图编辑距离，结合交并比（IoU）与图编辑距离（GED），用于衡量平面图的结构相似性。通过融合图像级与图级度量，SSIG 实现了大规模平面图数据库的高效、精准排序，其性能优于单独使用 IoU 或 GED，且在检索质量上与学习型方法相当，无需训练。

ABSTRACT

We propose a simple yet effective metric that measures structural similarity between visual instances of architectural floor plans, without the need for learning. Qualitatively, our experiments show that the retrieval results are similar to deeply learned methods. Effectively comparing instances of floor plan data is paramount to the success of machine understanding of floor plan data, including the assessment of floor plan generative models and floor plan recommendation systems. Comparing visual floor plan images goes beyond a sole pixel-wise visual examination and is crucially about similarities and differences in the shapes and relations between subdivisions that compose the layout. Currently, deep metric learning approaches are used to learn a pair-wise vector representation space that closely mimics the structural similarity, in which the models are trained on similarity labels that are obtained by Intersection-over-Union (IoU). To compensate for the lack of structural awareness in IoU, graph-based approaches such as Graph Matching Networks (GMNs) are used, which require pairwise inference for comparing data instances, making GMNs less practical for retrieval applications. In this paper, an effective evaluation metric for judging the structural similarity of floor plans, coined SSIG (Structural Similarity by IoU and GED), is proposed based on both image and graph distances. In addition, an efficient algorithm is developed that uses SSIG to rank a large-scale floor plan database. Code will be openly available.

研究动机与目标

• 解决现有度量方法（如 IoU 和 GED）在捕捉平面图整体结构相似性方面的局限性。
• 开发一种简单、非学习型度量方法，通过整合图像与图表示，稳健地度量结构相似性。
• 通过在计算效率高的框架中结合 IoU 与 GED 的优势，实现大规模平面图检索的高效性。
• 提供一种无需依赖深度度量学习的平面图生成与检索系统评估强基线。
• 建立一种与任务无关、统一的平面图相似性度量，以弥补单一度量的缺陷。

提出的方法

• 提出 SSIG（基于 IoU 与 GED 的结构相似性），一种混合度量方法，结合 IoU 用于视觉形状与重叠相似性，以及 GED 用于拓扑与连通性相似性。
• 使用 IoU 作为粗粒度初始筛选，以识别候选平面图，随后通过 GED 进行细粒度结构比较。
• 采用两阶段排序策略：首先通过 IoU 排序以限制候选集规模，然后在前 n 名候选中计算 SSIG 以进行最终排序。
• 设计一种高效算法，可在单核 CPU 上每查询 1–5 秒内计算 SSIG，显著快于基于 GMN 的方法（每查询 1500 秒）。
• 将基于 SSIG 的排序应用于 RPLAN 数据集，证明了其可扩展性与检索有效性。
• 采用 IoU 与 GED 的加权组合计算 SSIG，最终得分同时反映空间重叠与拓扑结构。

Figure 1: Floor plan representations . Left: Pictorial image. Center: Semantic image. Right: Access graph.

实验结果

研究问题

• RQ1 一种简单、非学习型度量方法能否在衡量平面图结构相似性方面优于单独使用 IoU 或 GED？
• RQ2 在真实世界平面图数据中，IoU 与 GED 的相关性如何？它们在哪些方面无法捕捉结构相似性？
• RQ3 结合图像级（IoU）与图级（GED）度量能否产生更鲁棒、更全面的平面图相似性度量？
• RQ4 所提出的 SSIG 度量是否足够高效与可扩展，以实现无需深度学习的大规模平面图检索？
• RQ5 与仅使用 IoU、仅使用 GED 或学习型度量基线相比，SSIG 在多大程度上提升了检索质量？

主要发现

• IoU 与 GED 相关性较弱，表明它们捕捉了结构相似性的不同方面，不可互换。
• IoU 对几何扰动高度敏感，无法检测如门或墙移除等拓扑变化；而 GED 忽视形状与尺度变化。
• SSIG 的检索结果在定性上与使用图匹配网络（GMNs）的最先进深度度量学习方法相当。
• 所提出的算法可在单核 CPU 上实现每查询 1–5 秒内计算 SSIG，比基于 GMN 的推理快约 300 倍（每查询 1500 秒）。
• 在 RPLAN 数据集中，使用前 50 名 IoU 候选进行 SSIG 计算可获得稳定且高质量的检索结果，且当 n ≥ 50 后性能提升微乎其微。
• SSIG 有效弥补了单一度量的缺陷：对于 IoU 低但 GED 高，或反之的情况，均能通过双度量融合实现正确排序。

Figure 2: Visual- and graph-based similarity metrics for floor plans . A) IoU can be directly used as a measure for similarity between semantic image representations. mIoU between the semantic images is computed through Eq. 3 (floor plans have 3 semantic labels); in this case being 0.90 which is a r