[论文解读] Constructing a personalized AI assistant for shear wall layout using Stable Diffusion

Lufeng Wang, Jiepeng Liu+3 more|arXiv (Cornell University)|May 18, 2023

3D Surveying and Cultural Heritage被引用 5

一句话总结

本文提出了一种针对高层建筑剪力墙布置的个性化AI助手，采用通过低秩适应（LoRA）微调的Stable Diffusion模型，实现仅用少量训练数据即可快速生成多种高质量的布局方案。该方法克服了传统启发式方法、生成对抗网络（GAN）或图神经网络（GNN）方法的局限性，实现了高效、数据高效且可定制的设计生成。

ABSTRACT

Shear wall structures are widely used in high-rise residential buildings, and the layout of shear walls requires many years of design experience and iterative trial and error. Currently, there are methods based on heuristic algorithms, but they generate results too slowly. Those based on Generative Adversarial Networks (GANs) or Graph Neural Networks (GNNs) can only generate single arrangements and require large amounts of training data. At present, Stable Diffusion is being widely used, and by using the Low-Rank Adaptation (LoRA) method to fine-tune large models with small amounts of data, good generative results can be achieved. Therefore, this paper proposes a personalized AI assistant for shear wall layout based on Stable Diffusion, which has been proven to produce good generative results through testing.

研究动机与目标

• 解决高层住宅建筑中剪力墙布置耗时且依赖经验的问题。
• 通过扩散模型克服现有方法（如速度缓慢的启发式算法或数据需求量大的GAN/GNN）的局限性。
• 开发一种个性化AI助手，利用小规模、任务特定的数据生成多样化且高质量的剪力墙布局。
• 验证通过LoRA微调Stable Diffusion在结构设计应用中的可行性和有效性。

提出的方法

• 使用低秩适应（LoRA）对预训练的Stable Diffusion模型进行微调，以适应剪力墙布置任务，且仅需少量数据。
• 在小规模、领域特定的剪力墙布局数据集上训练LoRA适配器，以在保持模型泛化能力的同时实现任务特定的适应。
• 通过施加建筑约束和设计偏好来条件化扩散模型，生成剪力墙布局。
• 利用文本提示和潜在空间条件化引导布局生成，支持个性化与迭代式的设计探索。
• 通过专家评估和定量指标，评估生成布局的结构合规性、多样性与设计质量。

实验结果

研究问题

• RQ1 通过LoRA微调的Stable Diffusion能否在仅使用少量训练数据的情况下生成高质量且结构合理的剪力墙布局？
• RQ2 与传统启发式方法或基于深度学习的方法相比，该个性化AI助手在生成速度和布局质量方面表现如何？
• RQ3 该模型在不同建筑配置下具备多大程度的泛化能力，同时保持设计一致性与结构完整性？
• RQ4 该模型能否通过基于提示的控制和迭代优化支持个性化设计偏好？

主要发现

• 所提出的AI助手仅使用少量微调数据，成功生成了多样化且结构上可行的剪力墙布局。
• LoRA微调有效实现了预训练Stable Diffusion模型在剪力墙布置任务上的适应，而无需大量重新训练。
• 生成的布局在视觉与结构质量方面表现优异，经领域专家评估符合关键设计标准。
• 该系统实现了快速、交互式的设计探索，显著减少了迭代布局优化所需的时间。