[论文解读] Gloss, Color and Topography Scanning for Reproducing a Painting's Appearance using 3D printing

Willemijn S. Elkhuizen, Tessa T. W. Essers+5 more|arXiv (Cornell University)|Oct 23, 2019

Advanced Vision and Imaging被引用 5

一句话总结

本文提出了一种新颖的3D扫描与3D打印系统，可捕获并再现画作在空间上变化的光泽度、色彩和表面形貌，实现高保真度的物理复制品。通过在布儒斯特角附近利用基于偏振的镜面反射采样，并结合高度图对非中心测量和表面阴影进行校正，该方法在每幅画作八小时内完成，实现了感知上准确的复制品。

ABSTRACT

High fidelity reproductions of paintings provide new opportunities to museums in preserving and providing access to cultural heritage. This paper presents an integrated system which is able to capture and fabricate color, topography and gloss of a painting, of which gloss capturing forms the most important contribution. A 3D imaging system, using fringe-encoded stereo imaging, is extended to capture spatially-varying gloss, utilizing specular reflectance polarization. The gloss is measured by sampling the specular reflection around Brewster's angle, where these reflections are effectively polarized, and can be separated from the unpolarized, diffuse reflectance. Off-center gloss measurements are calibrated relative to the center measurement. Off-specular gloss measurements, following from local variation of the surface normal, are masked based on the height map and corrected. Shadowed regions, caused by the 3D relief, are treated similarly. The area of a single capture is approximately 180x90mm at a resolution of 25x25micron. Aligned color, height, and gloss tiles are stitched together, registering overlapping color areas. These maps are inputs for a 3D printer. Two paintings were reproduced to verify the effectiveness and efficiency of the proposed system. One painting was scanned four times, consecutively rotated by 90 degrees, to evaluate the influence of the scanning system geometric configuration on the gloss measurement. Experimental results show that the method is sufficiently fast for practical application. The results can well be used for the purpose of physical reproduction and other applications needing first-order estimates of the appearance. Our method to extend appearance scanning with gloss measurements is a valuable addition in the quest for realistic reproductions, in terms of its practical applicability and its perceptual added value, when added to color and topography.

研究动机与目标

• 实现高保真度的物理复制品，准确反映画作的视觉外观，包括光泽度、色彩和三维表面形貌。
• 解决先前3D打印系统产生的表面光泽度均匀的问题，此类表面显得不自然，无法再现原作中光泽度的空间变化。
• 开发一种实用、快速且集成的扫描流程，能够以亚25 µm的分辨率捕获最大1.25×2.5 m的区域，适用于博物馆闭馆期间的应用。
• 在现有色彩和形貌扫描的基础上，通过基于偏振原理的稳健方法，实现空间变化光泽度的测量与再现。
• 通过两幅梵高风格画作的案例研究，验证复制品的感知真实感，证明光泽度再现与色彩及形貌结合所带来的附加价值。

提出的方法

• 利用带有条纹投射的立体成像系统捕获3D形貌和色彩，并扩展用于通过镜面反射的偏振测量空间变化的光泽度。
• 利用镜面反射在布儒斯特角附近变为线性偏振的原理，通过偏振滤光片将镜面反射与未偏振的漫反射分离开来。
• 应用数学归一化模型，通过参考中心校准点对非中心光泽度测量进行校正。
• 利用捕获的高度图屏蔽受局部表面法向变化和阴影影响的区域，并使用邻近区域的插值光泽值进行填充。
• 利用重叠的色彩区域作为注册标记，在离线状态下对色彩、高度和光泽图块进行对齐与拼接。
• 将整合后的地图——色彩、高度和光泽——传输至多喷射3D打印机，制造出物理上准确的复制品。

实验结果

研究问题

• RQ1 能否通过在布儒斯特角附近的基于偏振的镜面反射采样，准确捕获画作中的空间变化光泽度？
• RQ2 非中心光泽度测量和局部表面法向变化如何影响光泽度捕获的准确性？能否利用高度图数据进行校正？
• RQ3 在结合色彩和形貌的基础上，空间变化光泽度的引入在多大程度上提升了3D打印画作复制品的感知真实感？
• RQ4 该扫描系统是否足够快速且稳健，可适用于文化机构（如博物馆）在非工作时间的实际应用？
• RQ5 光泽度测量与多喷射3D打印中的可打印光泽度水平之间有何关联？需要何种映射策略以实现最佳感知保真度？

主要发现

• 该系统成功在一个集成流程中捕获并再现了空间变化的光泽度、色彩和形貌，每幅画作的扫描时间少于八小时。
• 通过数学模型对光泽度测量进行归一化，减少了非中心位置的偏差，提高了扫描区域内的测量一致性。
• 利用高度图对阴影区域和局部表面法向变化较大的区域进行屏蔽，并使用插值光泽值填充，保持了空间准确性。
• 对《两个摔跤者》和《向日葵》的复制品表明，将光泽度与色彩和形貌结合可产生视觉上令人信服的效果，显著提升了与均匀光泽打印相比的感知真实感。
• 扫描方向（旋转90°）对最终打印质量影响极小，表明系统对几何构型变化具有鲁棒性。
• 当光泽度与色彩和形貌一同再现时，该方法显示出感知上的附加价值，但若单独再现光泽度则无此效果，证实了多属性外观捕获的重要性。