[論文レビュー] Learning to Construct 3D Building Wireframes from 3D Line Clouds

Yicheng Luo, Jing Ren+5 more|arXiv (Cornell University)|Aug 25, 2022

Remote Sensing and LiDAR Applications被引用数 7

ひとこと要約

本論文は、3次元線クラウドから3次元建物ワイヤフレームを再構築するための最初の学習ベース手法を提案する。2段階のラインパッチトランスフォーマーを用いて、隣接する線分から接続関係と接合点を予測する。本手法は、3.6K棟の建物とその真値ワイヤフレームを含む新規に作成された合成データセット上で、複数のベースラインを上回る最先端の精度と効率性を達成した。

ABSTRACT

Line clouds, though under-investigated in the previous work, potentially encode more compact structural information of buildings than point clouds extracted from multi-view images. In this work, we propose the first network to process line clouds for building wireframe abstraction. The network takes a line cloud as input , i.e., a nonstructural and unordered set of 3D line segments extracted from multi-view images, and outputs a 3D wireframe of the underlying building, which consists of a sparse set of 3D junctions connected by line segments. We observe that a line patch, i.e., a group of neighboring line segments, encodes sufficient contour information to predict the existence and even the 3D position of a potential junction, as well as the likelihood of connectivity between two query junctions. We therefore introduce a two-layer Line-Patch Transformer to extract junctions and connectivities from sampled line patches to form a 3D building wireframe model. We also introduce a synthetic dataset of multi-view images with ground-truth 3D wireframe. We extensively justify that our reconstructed 3D wireframe models significantly improve upon multiple baseline building reconstruction methods. The code and data can be found at https://github.com/Luo1Cheng/LC2WF.

研究の動機と目的

• 点クラウドよりもコンパクトで構造的に情報量が多い線クラウドからの3次元建物ワイヤフレーム再構築のための学習ベース手法の不足に取り組むこと。
• RANSAC や領域成長などの離散的処理に依存する従来手法の限界を克服し、エンドツーエンド学習フレームワークと互換性のある手法を提供すること。
• 複数視点画像から抽出した順序なしでノイズの多い線クラウドから直接、3次元ワイヤフレームの接合点と接続関係を予測するデータ駆動型アプローチを開発すること。
• 学習ベースのワイヤフレーム再構築のためのトレーニングと評価を可能にする、複数視点画像と真値3次元ワイヤフレームを備えた大規模な合成データセットを構築すること。
• 隣接する3次元線分のグループであるラインパッチが、正確なワイヤフレーム抽象化に十分な輪郭情報を符号化できることを示すこと。

提案手法

• 本手法は、複数視点画像から抽出された順序なしの3次元線クラウドを入力とし、建物のエッジとコーナーを表す。
• 局所的な輪郭構造を捉えるために、隣接する線分のグループとして定義されるラインパッチをサンプリングする。
• これらのパッチから3次元接合点と接合点間の接続可能性を同時に予測する2段階のラインパッチトランスフォーマーを導入する。
• 1段目のトランスフォーマー層はラインパッチから候補となる接合点とその3次元位置を予測し、2段目の層はクエリとなる接合点間の接続性を予測する。
• 本モデルは、3.6K棟の建物を含む合成データセット上でエンドツーエンドにトレーニングされる。このデータセットには、ペアドされた複数視点画像と真値3次元ワイヤフレームが含まれる。
• 最終的なワイヤフレームは、予測結果を統合し、トポロジカルな整合性を保つためにポストプロセッシングを適用することで構築される。

実験結果

リサーチクエスチョン

• RQ1 隣接する3次元線分の局所的グループであるラインパッチは、建物ワイヤフレームの3次元接合点と接続関係を予測するのに十分な構造的情報を符号化できるか？
• RQ2 離散的幾何処理に依存せずに、エンドツーエンド学習フレームワークで有効に3次元ワイヤフレームを再構築できるトランスフォーマー基盤アーキテクチャは、実際に有効に機能するか？
• RQ3 ノイズの多い線クラウドからの学習ベースのワイヤフレーム再構築は、従来手法と比較して精度、効率性、ノイズ耐性の点で優れているか？
• RQ4 真値ワイヤフレームを備えた合成データセットは、実世界のシナリオへの効果的なトレーニングと一般化を可能にする程度はどの程度か？
• RQ5 ノイズが多く不完全な線クラウドであっても、微調整なしで本手法が実世界データに一般化可能か？

主な発見

• 提案手法LC2WFは、定量的指標と視覚的品質の両面で、すべてのベースラインを上回る最高の精度を達成した。
• 合成データセット上では、LC2WFはワイヤフレーム編集距離が0.088を記録し、次に優れた手法（PC2WF）の0.152よりも顕著に低い値を示しており、編集作業が少ないことを示している。
• LC2WFは真値接合点との平均L2距離が0.048mと低く、形状は視覚的に類似しているもののPolyFit（0.121m）よりも顕著に低い。
• LC2WFは非常に効率的であり、平均0.9秒で3次元ワイヤフレームを推論する。これに対してPolyFitは計算コストの高い整数線形計画法を用いるため、平均45.6秒かかっている。
• 本手法は実世界データに対しても良好に一般化され、微調整なしでノイズの多いスキャンに対しても妥当なワイヤフレームを生成している。2つの実スキャンにおける定性的な結果からその有効性が示された。
• ラインパッチトランスフォーマーは局所的な輪郭構造を効果的に捉えており、希薄でノイズの多い線クラウドからも正確な接合点と接続関係の予測が可能である。