[论文解读] Computational Parquetry: Fabricated Style Transfer with Wood Pixels

Julian Iseringhausen, Michael Weinmann+2 more|arXiv (Cornell University)|Apr 9, 2019

Computer Graphics and Visualization Techniques参考文献 64被引用 4

一句话总结

本文提出了一种计算流水线，通过使用具有天然纹理和色彩变化的真实木皮作为'像素'，利用激光切割和扫描硬件，实现目标图像的拼贴艺术制作。该方法采用组合优化方法，将唯一的木片分配给图像区域，同时避免重叠，从而仅使用激光切割和扫描设备即可实现高保真度、结构感知的木制艺术品。

ABSTRACT

Parquetry is the art and craft of decorating a surface with a pattern of differently colored veneers of wood, stone or other materials. Traditionally, the process of designing and making parquetry has been driven by color, using the texture found in real wood only for stylization or as a decorative effect. Here, we introduce a computational pipeline that draws from the rich natural structure of strongly textured real-world veneers as a source of detail in order to approximate a target image as faithfully as possible using a manageable number of parts. This challenge is closely related to the established problems of patch-based image synthesis and stylization in some ways, but fundamentally different in others. Most importantly, the limited availability of resources (any piece of wood can only be used once) turns the relatively simple problem of finding the right piece for the target location into the combinatorial problem of finding optimal parts while avoiding resource collisions. We introduce an algorithm that allows to efficiently solve an approximation to the problem. It further addresses challenges like gamut mapping, feature characterization and the search for fabricable cuts. We demonstrate the effectiveness of the system by fabricating a selection of "photo-realistic" pieces of parquetry from different kinds of unstained wood veneer.

研究动机与目标

• 开发一种方法，利用真实木皮的天然结构细节作为物理拼贴图像重建中的视觉细节来源。
• 通过制定资源受限的分配问题，解决木片数量有限且不可重复使用的问题，避免木片之间的重叠。
• 创建一个完全计算化的端到端流水线，使非专业人士仅通过激光切割机和台式扫描仪即可生成可制造的拼贴艺术作品。
• 通过将每片木皮视为唯一且不可复制的纹理源，完整保留木材的视觉复杂性，如纹理、节疤和色彩变化。
• 证明在不依赖基于颜色的简化或后期处理的前提下，可实现高对比度、具有明暗过渡和细节丰富的木制艺术品的可行性。

提出的方法

• 系统采用适用于物理制造的基于补丁的图像合成方法，将每片木皮视为唯一且不可重复使用的图像补丁。
• 采用组合优化算法，将最匹配的木片分配给目标图像区域，同时追踪资源使用情况，防止重叠并确保每块木片仅使用一次。
• 对扫描的木样进行特征表征，提取颜色和纹理特征，实现源补丁与目标图像区域之间的准确相似性匹配。
• 应用色域映射，将木样颜色和纹理范围与目标图像的外观对齐，提升视觉保真度。
• 通过生成适合激光切割的切割方案，引入可制造性约束，包括边缘对齐和部件形状的考虑。
• 训练一个U-Net模型，以预测未处理木材到成品木材的视觉变化，从而在应用表面处理后进行预扫描，提高外观预测的准确性。

实验结果

研究问题

• RQ1 如何利用真实木皮中的天然结构细节作为物理拼贴图像重建中的视觉细节来源？
• RQ2 何种优化策略能够在仅使用唯一且不可重复使用的木片、无重叠或形变的前提下，实现高保真度的图像近似？
• RQ3 当表面处理显著改变木材的视觉特性时，如何通过扫描准确建模木材的外观？
• RQ4 计算流水线在仅使用通用硬件和最少用户输入的前提下，能在多大程度上生成可物理制造的拼贴艺术作品？
• RQ5 该方法是否能在不依赖基于颜色的简化或后期处理的前提下，生成视觉上引人注目的结果，同时完整保留木材纹理的复杂性？

主要发现

• 该系统仅使用六种未上色的木皮和目标图像，成功制作出高对比度、细节丰富的拼贴艺术作品，实现了视觉上高度忠实的重建。
• 利用木材的天然结构特征——如纹理、节疤和色彩变化——实现了精细的结构细节和正确的明暗过渡，避免了传统方法中常见的'马赛克化'视觉效果。
• 组合优化方法有效管理了资源约束，确保无两片木片重叠，同时保持了视觉保真度。
• 在预处理和后处理扫描图像上训练的U-Net模型在预测外观变化方面表现良好，表明未来有望实现对处理步骤的自动化。
• 该流水线使非专业人士仅通过激光切割机和台式扫描仪即可制作出复杂且视觉丰富的拼贴艺术作品，展示了其可及性和实用性。
• 最终生成的拼贴艺术作品由不规则形状的拼块组成，提供了强烈的视觉和触觉提示，显著优于标准均匀形状拼图的拼装体验。