[论文解读] Fusion 360 Gallery: A Dataset and Environment for Programmatic CAD Construction from Human Design Sequences

Karl D. D. Willis, Yewen Pu+6 more|arXiv (Cornell University)|Oct 5, 2020

3D Shape Modeling and Analysis参考文献 62被引用 9

一句话总结

本文提出了Fusion 360画廊数据集，包含8,625个由人类设计的CAD模型，以简单DSL中的序列化草图-拉伸操作表示，以及Fusion 360 Gym——一个模拟CAD构建过程的强化学习友好型环境。通过模仿学习引导的神经网络搜索方法，该方法在100次环境交互内实现了67.5%的测试设计精确重建率，平均每个解的求解时间低于20秒。

ABSTRACT

Parametric computer-aided design (CAD) is a standard paradigm used to design manufactured objects, where a 3D shape is represented as a program supported by the CAD software. Despite the pervasiveness of parametric CAD and a growing interest from the research community, currently there does not exist a dataset of realistic CAD models in a concise programmatic form. In this paper we present the Fusion 360 Gallery, consisting of a simple language with just the sketch and extrude modeling operations, and a dataset of 8,625 human design sequences expressed in this language. We also present an interactive environment called the Fusion 360 Gym, which exposes the sequential construction of a CAD program as a Markov decision process, making it amendable to machine learning approaches. As a use case for our dataset and environment, we define the CAD reconstruction task of recovering a CAD program from a target geometry. We report results of applying state-of-the-art methods of program synthesis with neurally guided search on this task.

研究动机与目标

• 为基于学习的CAD研究解决缺乏真实世界、程序化CAD数据集及其真实构造序列的问题。
• 使机器学习方法能够从目标几何形状中学习并重建人类设计的CAD模型。
• 将CAD重建任务标准化为基准，包含定义明确的训练集与测试集、评估指标以及可执行环境。
• 开发一个可扩展的交互式环境（Fusion 360 Gym），将CAD构建建模为马尔可夫决策过程，以支持强化学习。
• 展示基于模仿学习与神经网络引导搜索在真实人类设计序列上实现基于学习的CAD重建的可行性。

提出的方法

• Fusion 360画廊数据集包含8,625个CAD程序，使用仅包含草图和拉伸操作的极简DSL表示，包含布尔并集与差集操作。
• Fusion 360 Gym环境逐步解释这些操作，每次动作后提供几何反馈，模拟真实的CAD构建过程。
• 通过模仿学习在真实构造序列上训练神经策略，采用一种新型状态与动作编码的消息传递网络（MPN）。
• 推理阶段，搜索算法利用学习到的策略在Fusion 360 Gym中引导探索，通过反复与环境交互以发现有效的CAD程序。
• 搜索策略包括随机搜索、束搜索和最佳优先搜索，性能在100次环境交互的固定预算下进行评估。
• 评估采用IoU（交并比）与精确重建准确率，强调程序恢复的简洁性与精确性。

实验结果

研究问题

• RQ1 基于学习的方法能否利用程序化、序列化的表示，从目标几何形状中重建真实人类设计的CAD模型？
• RQ2 在有限次数的环境交互内，模仿学习与神经网络引导搜索在恢复真实CAD构造序列方面的有效性如何？
• RQ3 在固定交互预算下，搜索策略（如随机、束搜索、最佳优先）对重建性能的影响是什么？
• RQ4 设计复杂度与构造序列长度如何影响精确CAD重建的可行性？
• RQ5 IoU等指标在多大程度上能反映几何细节（如孔洞或复杂特征）的精确重建？

主要发现

• 神经网络引导的搜索方法在1,725个测试设计中，100次环境交互预算下实现了67.5%的精确重建准确率。
• 每个设计的平均求解时间低于20秒，表明在Fusion 360 Gym环境中推理效率较高。
• 随机搜索因动作空间结构有利且能有效剪枝无效动作，在简单设计上表现中等成功，但在复杂设计上性能显著下降。
• 随着预算增加，束搜索与最佳优先搜索策略优于随机搜索，表明其在更多探索步骤下具有更好的可扩展性。
• IoU指标可能具有误导性，因为错误的重建可能获得较高的IoU，却遗漏关键设计细节（如小孔或复杂特征）。
• 简单设计——尤其是仅包含一个拉伸操作的设计（占数据集的38%）——更容易被重建，凸显了更长、更复杂序列的挑战。