[論文レビュー] Retrieval-Augmented Sketch-Guided 3D Building Generation

Zhengyang Wang, Nuttapong Rochanavibhata+4 more|arXiv (Cornell University)|Mar 17, 2026

3D Shape Modeling and Analysis被引用数 0

ひとこと要約

本論文は、粗いスケッチから編集可能で部品レベルの3D建物モデルを生成する、日本の一戸建て住宅向けの多段階リトリーブ強化スケッチガイドフレームワークを提案する。

ABSTRACT

In the early design stage of Japanese detached houses, the lack of a unified design representation among clients, sales representatives, and designers leads to design drift and inefficient feedback. Usually, sketches handed off by sales representatives may lose details for quick drawing, which reduces the fidelity of subsequent 3D generation using generative AI models. The generated 3D model typically takes the form of a single unified mesh, preventing component-level editing. To solve these issues, we propose a multi-stage 3D generative design framework capable of producing architectural models from rough design sketches. The framework combines generative and retrieval-based methods to enable component-level editing and personalized customization. It adopts a multimodal representation for 3D model generation and applies component segmentation to localize architectural components such as windows and doors and uses retrieval to support targeted replacement of components. Experiments show that the work enables modular customization which is thought to be suitable for personalized architectural design. This work introduces a multi-stage sketch-to-3D framework for Japanese detached houses, provides facade and component datasets, and shows effectiveness through quantitative and expert evaluations.

研究の動機と目的

• クライアント、営業担当者、設計者間の統一設計表現の欠如による設計のずれと非効率的なフィードバックを解消する。
• 初期設計段階で用いられる粗いスケッチから高忠実度の3D生成を実現する。
• 建築モデルの部品レベルでの編集と個別カスタマイズを可能にする。
• 建築部品（例：窓、扉）を局在化する多モーダル表現と部品分割を開発する。
• 対象の部品置換とモジュール化カスタマイズを支援するリトリーブを導入する。）

提案手法

• マルチステージのスケッチ-to-3D生成設計フレームワークを提案する。
• 生成的手法とリトリーブ手法を組み合わせて部品レベルの編集を支援する。
• 3Dモデル生成のための多モーダル表現を使用する。
• 窓や扉などの建築要素を局在化する部品分割を適用する。
• カスタマイズを可能にするための部品のターゲット置換を実現するリトリーブを組み込む。

実験結果

リサーチクエスチョン

• RQ1 粗い設計スケッチを editable な3D建築モデルへ faithfully に翻訳するマルチステージフレームワークは実現可能か。
• RQ2 生成とリトリーブの組み合わせは部品レベルの編集とカスタマイズを改善するか。
• RQ3 多モーダル表現と部品分割は局在化とターゲットリトリーバルにおいて有効か。
• RQ4 このアプローチは実務でのモジュール化・個別化設計に適用可能か。
• RQ5 提案手法による忠実度と使いやすさの定量的・専門家評価の利得はどの程度か。

主な発見

• 実験により、本フレームワークが個別の建築設計のモジュール型カスタマイズを可能にすることを示した。
• 本手法は部品レベルの編集と部品のターゲット置換をサポートする。
• ファサードと部品データセットが導入され、評価に使用された。
• 定量評価と専門家評価の双方から、本手法の有効性が示された。