[论文解读] DeepSpline: Data-Driven Reconstruction of Parametric Curves and Surfaces
该论文提出一种深度学习框架，从图像或点云中在二维上重建样条曲线，在三维上重建基于样条的曲面，使用分层RNNs和无监督学习来避免手动初始化。
Reconstruction of geometry based on different input modes, such as images or point clouds, has been instrumental in the development of computer aided design and computer graphics. Optimal implementations of these applications have traditionally involved the use of spline-based representations at their core. Most such methods attempt to solve optimization problems that minimize an output-target mismatch. However, these optimization techniques require an initialization that is close enough, as they are local methods by nature. We propose a deep learning architecture that adapts to perform spline fitting tasks accordingly, providing complementary results to the aforementioned traditional methods. We showcase the performance of our approach, by reconstructing spline curves and surfaces based on input images or point clouds.
研究动机与目标
- 推动使用基于样条的参数化表示来重建几何形状，作为鲁棒的高层抽象。
- 开发一个数据驱动的框架，能够处理可变数量的样条曲线和可变数量的控制点。
- 扩展到从图像或点云进行无监督的三维挤出或回转表面的重建。
- 提供避免手动初始化并在不同输入模态之间工作的机制。
提出的方法
- 定义 Curve RNN 和 Point RNN，分别用于预测样条曲线和控制点。
- 引入一个分层RNN，用于在控制点数量可变的情况下重建多个二维样条曲线。
- 在多曲线拟合过程中结合注意力机制以定位图像特征。
- 使用匈牙利匹配将预测的曲线集合与无序的真实曲线对齐，并将损失设定为包含均方误差（MSE）和交叉熵项的综合损失。
- 扩展到使用点云之间的切尔距离（Chamfer distance）作为损失的无监督三维挤出或回转曲面重建。
- 分别采用 VGGNet 或 PointNet 作为图像或点云的特征提取器，输入到全连接层以预测样条参数。
实验结果
研究问题
- RQ1在曲线数量可变、控制点可变的情况下，数据驱动的模型是否能够从图像或点云中准确恢复参数化样条曲线？
- RQ2分层递归结构如何在仅需最少初始化的情况下实现鲁棒的二维样条重建？
- RQ3是否有可能从图像或点云以无监督方式重建三维挤出或回转曲面？
- RQ4哪些机制（如注意力、匹配）能够在预测曲线和真实曲线之间建立可靠的一致性？
主要发现
- 该模型能够在分层RNN内，使用 Curve RNN 和 Point RNN，在控制点数量可变的情况下重建二维样条曲线。
- 该方法支持多条样条曲线，控制点数量为固定或可变，结合注意力机制和双分配匹配方案进行对齐。
- 一个无监督的三维重建路径通过从二维输入预测样条曲线并进行挤出或回旋来恢复挤出或回转曲面，使用 Chamfer 距离作为损失。
- 推理速度快，在单张图像上的测试时间为 12 ms。
- 系统在一个大型合成数据集（500,000 个样本）上进行训练，并在真实图像上进行评估以评估泛化能力。
- 损失函数结合了控制点位置误差、曲线停止概率和点停止概率，对于多曲线情况，还包括基于匹配的重建损失。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。