[論文レビュー] Learning Structural Graph Layouts and 3D Shapes for Long Span Bridges 3D Reconstruction

Fangqiao Hu, Jin Zhao+2 more|arXiv (Cornell University)|Jul 8, 2019

3D Surveying and Cultural Heritage参考文献 71被引用数 5

ひとこと要約

本稿では、ドローンが撮影した長スパン・ブリッジの画像から、構造的グラフレイアウトと3D形状を同時に予測する学習ベースでトポロジーに配慮した3D再構成フレームワークを提案する。構造的事前知識とディープラーニングを活用することで、トポロジーの整合性を保ちながらも、点群やメッシュベースの手法よりも部品数の正確性とデータ効率に優れた、高精度でコンパクトな幾何モデリングを実現した。2つの実際のブリッジにおいて、性能を実証した。

ABSTRACT

A learning-based 3D reconstruction method for long-span bridges is proposed in this paper. 3D reconstruction generates a 3D computer model of a real object or scene from images, it involves many stages and open problems. Existing point-based methods focus on generating 3D point clouds and their reconstructed polygonal mesh or fitting-based geometrical models in urban scenes civil structures reconstruction within Manhattan world constrains and have made great achievements. Difficulties arise when an attempt is made to transfer these systems to structures with complex topology and part relations like steel trusses and long-span bridges, this could be attributed to point clouds are often unevenly distributed with noise and suffer from occlusions and incompletion, recovering a satisfactory 3D model from these highly unstructured point clouds in a bottom-up pattern while preserving the geometrical and topological properties makes enormous challenge to existing algorithms. Considering the prior human knowledge that these structures are in conformity to regular spatial layouts in terms of components, a learning-based topology-aware 3D reconstruction method which can obtain high-level structural graph layouts and low-level 3D shapes from images is proposed in this paper. We demonstrate the feasibility of this method by testing on two real long-span steel truss cable-stayed bridges.

研究の動機と目的

• ノイジーで不完全かつ不均一に分布したMVS点群から、複雑でトポロジーが豊富な長スパンブリッジを再構成する課題に対処すること。
• 従来の点ベースおよびメッシュベースの再構成手法が、構造的トポロジーと部品関係を保持できないという限界を克服すること。
• 画像から高レベルの構造的グラフレイアウトと低レベルの3D幾何形状を同時に予測する学習フレームワークを開発すること。
• 構造的健全性モニタリングや有限要素モデル化などの後続応用に適した、自動的かつ高精度な3Dモデリングを可能にすること。
• ドローン画像を用いて、実際の斜張鋼鉄 truss ブリッジにおいて、実現可能性を示すこと。

提案手法

• 本手法は、ドローン画像から構造的グラフレイアウト（部品のトポロジーを表す）と3D形状（幾何的プリミティブ）を同時に予測するディープラーニングフレームワークを採用する。
• 空間的な規則的レイアウトや部品関係といった構造的事前知識を学習プロセスに統合し、再構成をガイドする。
• グラフ構造と3D形状パラメータの両方を最適化する微分可能パイプラインを用いて、エンドツーエンドの学習を可能にする。
• 幾何的プリミティブ（例：直方体、円柱）を用いてブリッジ部品をモデル化し、微分可能レンダリングと損失関数を介してパラメータを最適化する。
• 高解像度モデルをダウンサンプリングすることで、データサイズを削減しながらも、主要な構造的特徴を保持する。
• 訓練および評価のため、手作業で作成された3Dモデルを教師データとして、教師付き学習を活用する。

実験結果

リサーチクエスチョン

• RQ1 学習ベースの手法は、長スパンブリッジのドローン画像から、構造的グラフレイアウトと3D形状を同時に予測できるか？
• RQ2 従来の点群やメッシュベースの手法と比較して、本手法は複雑なブリッジ構造のトポロジーや幾何的性質をどの程度正確に保持できるか？
• RQ3 構造的事前知識を組み込むことで、再構成の正確性とデータ効率はどの程度向上するか？
• RQ4 本手法は、有限要素モデル化などの工学的応用に適したコンパクトで意味的に明確なモデルを生成できるか？
• RQ5 ノイジーで不完全なMVS点群を含む実世界のブリッジにおいて、本手法はどの程度の性能を示すか？

主な発見

• 本手法は、ブリッジ1でチェンファーディスタンス0.06237、ブリッジ2で0.02001を達成し、ポisson表面再構成やデローニー三角形分割を著しく上回った。
• ブリッジ1では1,488部品、ブリッジ2では914部品を再構成し、それぞれ真値の1,430部品および914部品に非常に近い結果を得た。
• データサイズは、ブリッジ1で66,812、ブリッジ2で73,016にまで削減され、元の点群やメッシュの1,100万以上および2,900万以上よりも著しく小さくなった。
• RANSAC や学習ベースの手法が失敗したノイジーなMVS点群に対しても、幾何的プリミティブ（例：直方体、円柱）を適切にフィッティングできた。
• ドローン画像のノイズや隠蔽に対しても本手法は頑健であり、手動による介入なしに構造的に整合性のあるモデルを生成した。
• 学習された3Dモデルは、視覚的点検、VR/AR可視化、有限要素モデル化などの後続タスクに適していることが示された。