[論文レビュー] SSIG: A Visually-Guided Graph Edit Distance for Floor Plan Similarity

Casper van Engelenburg, Seyran Khademi+1 more|arXiv (Cornell University)|Sep 8, 2023

3D Surveying and Cultural HeritageEarth and Planetary Sciences被引用数 3

ひとこと要約

本稿では、床図における構造的類似性を測定するために、交差和集合（IoU）とグラフ編集距離（GED）を統合した視覚誘導型グラフ編集距離、SSIGを提案する。画像レベルとグラフレベルのメトリクスを統合することで、学習を必要とせず、大規模な床図データベースの効率的かつ正確なランク付けを可能にし、IoU や GED それぞれを個別に用いる場合を上回り、学習された手法と同等の検索品質を達成する。

ABSTRACT

We propose a simple yet effective metric that measures structural similarity between visual instances of architectural floor plans, without the need for learning. Qualitatively, our experiments show that the retrieval results are similar to deeply learned methods. Effectively comparing instances of floor plan data is paramount to the success of machine understanding of floor plan data, including the assessment of floor plan generative models and floor plan recommendation systems. Comparing visual floor plan images goes beyond a sole pixel-wise visual examination and is crucially about similarities and differences in the shapes and relations between subdivisions that compose the layout. Currently, deep metric learning approaches are used to learn a pair-wise vector representation space that closely mimics the structural similarity, in which the models are trained on similarity labels that are obtained by Intersection-over-Union (IoU). To compensate for the lack of structural awareness in IoU, graph-based approaches such as Graph Matching Networks (GMNs) are used, which require pairwise inference for comparing data instances, making GMNs less practical for retrieval applications. In this paper, an effective evaluation metric for judging the structural similarity of floor plans, coined SSIG (Structural Similarity by IoU and GED), is proposed based on both image and graph distances. In addition, an efficient algorithm is developed that uses SSIG to rank a large-scale floor plan database. Code will be openly available.

研究の動機と目的

• 床図における包括的な構造的類似性を捉えることが難しい既存のメトリクス（例：IoU や GED）の限界を解消すること。
• 画像表現とグラフ表現を統合することで、ロバストに構造的類似性を測定できる、シンプルで学習を必要としないメトリクスの開発。
• IoU と GED の長所を統合した計算効率の高いフレームワークにより、大規模な床図データベースにおける効率的で正確な検索を実現すること。
• 深層度量学習に依存せずに、床図生成および検索システムの評価のための強力なベースラインを提供すること。
• 個々のメトリクスの失敗を補う、タスクに依存しない統一的な床図類似性測定法を確立すること。

提案手法

• IoU と GED を統合したハイブリッドメトリクス、SSIG（IoU と GED を用いた構造的類似性）を提案。IoU で視覚的形状と被り具合の類似性を、GED でトポロジー的および接続性の類似性を測定する。
• 初期スクリーニングとして IoU を用い、候補となる床図を特定した後、細分化された構造的比較に GED を適用する。
• 二段階のランク付け戦略を採用：まず IoU によるランク付けで候補集合のサイズを制限し、その後上位-n 候補に対して最終的なランク付けのため SSIG を計算する。
• 1台の CPU で1クエリあたり1〜5秒で SSIG を計算する効率的なアルゴリズムを開発。GMN を用いた手法よりも 300 倍以上高速（1クエリあたり1500秒）である。
• RPLAN データセットに SSIG を適用し、スケーラビリティと検索効果の有効性を実証した。
• IoU と GED の重み付き組み合わせにより SSIG を計算。最終スコアは空間的被り具合とトポロジカル構造の両方を反映する。

Figure 1: Floor plan representations . Left: Pictorial image. Center: Semantic image. Right: Access graph.

実験結果

リサーチクエスチョン

• RQ1 シンプルで学習を必要としないメトリクスが、IoU や GED それぞれを個別に用いる場合を上回り、床図の構造的類似性を測定できるか？
• RQ2 実世界の床図データにおいて、IoU と GED はどの程度相関しているか。また、構造的類似性を捉えるうえで、それぞれがどのように失敗するか？
• RQ3 画像レベル（IoU）とグラフレベル（GED）のメトリクスを統合することで、床図のよりロバストで包括的な類似性測定が可能になるか？
• RQ4 提案された SSIG メトリクスは、深層学習を用いないにもかかわらず、大規模な床図検索に十分な効率性とスケーラビリティを備えているか？
• RQ5 SSIG は、IoU 僅用、GED 僅用、および学習された度量ベースラインと比較して、どの程度検索品質を向上させるか？

主な発見

• IoU と GED は弱く相関しており、異なる側面の類似性を捉えていることが示され、互換性がないことが判明。
• IoU は幾何的摂動に非常に敏感であり、ドアや壁の削除といったトポロジカルな変更を検出できない。一方、GED は形状やスケールの変化を無視する。
• SSIG は、グラフマッチングネットワーク（GMN）を用いた最先端の深層度量学習手法と同等の検索結果を達成する。
• 提案されたアルゴリズムにより、1台の CPU で1クエリあたり1〜5秒で SSIG を計算可能であり、GMN を用いた推論（1クエリあたり1500秒）と比較して300倍以上高速である。
• RPLAN データセットにおいて、上位50個の IoU 候補を SSIG 計算に使用すると、安定的かつ高品質な検索結果が得られ、n ≥ 50 を超えると改善は限定的である。
• SSIG は個々のメトリクスの失敗を効果的に補完する：IoU が低くても GED が高いケース、逆に GED が低くても IoU が高いケースも、両方のメトリクスの統合により正しくランク付けされる。

Figure 2: Visual- and graph-based similarity metrics for floor plans . A) IoU can be directly used as a measure for similarity between semantic image representations. mIoU between the semantic images is computed through Eq. 3 (floor plans have 3 semantic labels); in this case being 0.90 which is a r