[論文レビュー] Deep Learning from Parametrically Generated Virtual Buildings for Real-World Object Recognition

Mohammad Alawadhi, Wei Yan|arXiv (Cornell University)|Jan 3, 2023

3D Surveying and Cultural Heritage被引用数 4

ひとこと要約

本論文では、BIMGenEフレームワークを用いて、BIMモデルからパラメトリックに生成された現実的レンダリングされた仮想建物のみを用いて、深層ニューラルネットワークを訓練する手法を提案する。このアプローチにより、訓練データに含まれない建物に対しても、実世界の建物写真において強力な汎化性能と正確な意味的セグメンテーションを達成しており、合成データが実世界の建築AIタスクに有効であることを示している。

ABSTRACT

We study the use of parametric building information modeling (BIM) to automatically generate training data for artificial neural networks (ANNs) to recognize building objects in photos. Teaching artificial intelligence (AI) machines to detect building objects in images is the foundation toward AI-assisted semantic 3D reconstruction of existing buildings. However, there exists the challenge of acquiring training data which is typically human-annotated, that is, unless a computer machine can generate high-quality data to train itself for a certain task. In that vein, we trained ANNs solely on realistic computer-generated images of 3D BIM models which were parametrically and automatically generated using the BIMGenE program. The ANN training result demonstrated generalizability and good semantic segmentation on a test case as well as arbitrary photos of buildings that are outside the range of the training data, which is significant for the future of training AI with generated data for solving real-world architectural problems.

研究の動機と目的

• 実世界の画像における建物オブジェクト認識のためのアノテート済みトレーニングデータの不足に取り組む。
• 合成されたパラメトリックに生成された3次元建物モデルが、実世界の応用に向けた深層ニューラルネットワークを有効に訓練できるかを検討する。
• 合成データのみで訓練されたモデルが、多様な実世界の建物写真に対してどれほど汎化できるかを評価する。
• 建築および建設分野におけるAIのための高品質なトレーニングデータをスケーラブルかつ自動的に生成するパイプラインを確立する。

提案手法

• 幾何学的形状、素材、レイアウトの変動を制御できるように、BIMGenEツールを用いて多様なパラメトリック3次元建物モデルを自動生成した。
• 写真のようなリアルなレンダリング技術を用いて、3次元BIMモデルから現実的なRGB画像と対応する意味的セグメンテーションマスクをレンダリングした。
• 標準的な意味的セグメンテーション損失関数を用いて、合成データセット上で畳み込みニューラルネットワーク（CNN）を訓練した。
• パラメトリックに生成されたトレーニング分布の多様性を通じて、データ拡張およびドメイン適応戦略を暗黙的に適用した。
• 訓練中に見られなかった多様な実世界の建物写真に対して、訓練済みモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 合成的かつパラメトリックに生成された仮想建物のみで訓練された深層ニューラルネットワークが、実世界の画像において正確なオブジェクト認識を達成できるか？
• RQ2 モデルは、トレーニングデータとは異なるスタイル、構造、外観の実世界の建物写真に対してどれほど汎化するか？
• RQ3 パラメトリックBIM生成が、建築ビジョンタスクのためのAIトレーニングにおける人手によるアノテート済み実世界データセットへの依存をどれほど代替または低減できるか？
• RQ4 合成データの多様性とリアルさが、実世界シナリオにおけるモデルの汎化性能とパフォーマンスに与える影響はどの程度か？

主な発見

• 訓練データに含まれない建物に対しても、実世界の建物写真において強力な意味的セグメンテーション性能を達成しており、高い汎化能力を示している。
• パラメトリックに生成された仮想建物の使用により、人手によるラベル付けなしに大規模で多様かつ完全にアノテート済みのトレーニングデータセットを構築可能であった。
• モデルは建物のスタイル、照明、視点の変化に対して強靭であることが示され、合成データからの有効なドメイン一般化が実現していると考えられる。
• 高精細な合成データが、パラメトリックBIMモデルから得られることで、建築コンピュータビジョン分野におけるAIトレーニングのための実世界のアノテート済みデータの代替手段として有効であることが検証された。