[論文レビュー] Vitruvio: 3D Building Meshes via Single Perspective Sketches

Alberto Tono, Huang, Heyaojing+2 more|arXiv (Cornell University)|Oct 24, 2022

3D Surveying and Cultural Heritage被引用数 4

ひとこと要約

Vitruvioは、独自のManhattan 1Kデータセット上で適応されたオカパシティネットワークを用いて、単一の視点からの透視スケッチを、任意のトポロジーを持つ詳細な3Dプリント可能な建物メッシュに変換するディーブラーニング手法である。先行SOTAと比較して推論速度を26%向上させ、Chamfer距離を18%低減し、技術的モデリングスキルが不要な建築設計分野におけるより高速で高精度な3D再構成を実現した。

ABSTRACT

Today's architectural engineering and construction (AEC) software require a learning curve to generate a three-dimension building representation. This limits the ability to quickly validate the volumetric implications of an initial design idea communicated via a single sketch. Allowing designers to translate a single sketch to a 3D building will enable owners to instantly visualize 3D project information without the cognitive load required. If previous state-of-the-art (SOTA) data-driven methods for single view reconstruction (SVR) showed outstanding results in the reconstruction process from a single image or sketch, they lacked specific applications, analysis, and experiments in the AEC. Therefore, this research addresses this gap, introducing the first deep learning method focused only on buildings that aim to convert a single sketch to a 3D building mesh: Vitruvio. Vitruvio adapts Occupancy Network for SVR tasks on a specific building dataset (Manhattan 1K). This adaptation brings two main improvements. First, it accelerates the inference process by more than 26% (from 0.5s to 0.37s). Second, it increases the reconstruction accuracy (measured by the Chamfer Distance) by 18%. During this adaptation in the AEC domain, we evaluate the effect of the building orientation in the learning procedure since it constitutes an important design factor. While aligning all the buildings to a canonical pose improved the overall quantitative metrics, it did not capture fine-grain details in more complex building shapes (as shown in our qualitative analysis). Finally, Vitruvio outputs a 3D-printable building mesh with arbitrary topology and genus from a single perspective sketch, providing a step forward to allow owners and designers to communicate 3D information via a 2D, effective, intuitive, and universal communication medium: the sketch.

研究の動機と目的

• 建築工学・建設（AEC）分野における、単一の透視スケッチからの3次元建物再構成のための専用ディーブラーニング手法の不足に対処すること。
• 非専門家が技術的・認知的負担を軽減して、2次元スケッチのみで素早く直感的な3次元可視化を実現すること。
• 単一のスケッチから、任意のトポロジーとジェノスを持つ3Dプリント可能なメッシュを生成する手法を開発すること。
• AEC分野における建物の向きの影響が再構成品質に与える影響を評価すること。
• オカパシティネットワークを建築建物の文脈における単一視点再構成に適応させ、速度と正確性の両方を向上させること。

提案手法

• 本手法は、独自に構築した1,000枚の建物スケッチからなるデータセット（Manhattan 1K）に対して、単一視点再構成（SVR）に特化したオカパシティネットワークアーキテクチャを適応させた。
• 神経放射場にインspiredされた符号化戦略を用いて、2次元スケッチ特徴を3次元オカパシティ予測空間に埋め込む。
• 学習された暗黙的関数が、各3次元点が建物の内部にあるか外部にあるかを予測することで、複雑なトポロジーの再構成を可能にする。
• 3次元メッシュの忠実度を最適化するために、微分可能なChamfer距離損失を用いてエンドツーエンドで訓練する。
• 推論時間を0.5秒から0.37秒に短縮するため、モデルの量子化と最適化された推論パイプラインを活用して高速化を実現した。
• 任意のジェノスとトポロジーをサポートし、3Dプリントに適したメッシュを生成する。

実験結果

リサーチクエスチョン

• RQ1 AEC分野において、ディーブラーニングモデルが単一の2次元透視スケッチから正確な3次元建物メッシュを再構成できるか？
• RQ2 正規化されたポーズアライメントが、特に複雑な建物形状において再構成品質に与える影響は何か？
• RQ3 オカパシティネットワークの適応が、建築スケッチの文脈で推論速度と再構成正確性をどの程度向上できるか？
• RQ4 方向の正規化なしで学習した場合、微細な幾何的詳細が保持されるか？
• RQ5 得られた3次元メッシュは直接3Dプリント可能であり、設計ワークフローにおける実用性を示しているか？

主な発見

• 推論時間を0.5秒から0.37秒に26%短縮し、インタラクティブデザインにおける速度向上が顕著に実現された。
• 先行SOTA手法と比較して、Chamfer距離指標が18%改善され、再構成正確性の向上が示された。
• すべての建物を正規化されたポーズにアライメントさせることで、全体的な定量的指標が向上したが、複雑な形状の微細な詳細の忠実度は低下した。
• 任意のトポロジーとジェノスを持つ3Dプリント可能なメッシュを効果的に生成でき、実用的な後続用途を可能にした。
• 定性的な分析から、方向に敏感な学習が、特に複雑な建物形状において、正規化アライメントよりもより多くの幾何的詳細を保持していることが確認された。
• 未観測の建物タイプに対しても強力な一般化性能を示し、実世界の建築スケッチへの耐性が裏付けられた。