[论文解读] LUCES: A Dataset for Near-Field Point Light Source Photometric Stereo

Roberto Mecca, Fotios Logothetis+2 more|arXiv (Cornell University)|Apr 27, 2021

Optical measurement and interference techniques被引用 10

一句话总结

该论文提出了 LUCES，这是首个真实世界中的近场点光源光度立体视觉数据集，包含14种具有不同材质的物体，在近距离LED光照条件下采集。该研究利用真实法向图和深度图对当前最先进的近场光度立体方法进行了评估，结果表明深度学习方法在镜面和金属材质上的表现优于传统优化技术，尤其在这些材质上表现更优，而所有方法在边缘区域仍面临挑战。

ABSTRACT

Three-dimensional reconstruction of objects from shading information is a challenging task in computer vision. As most of the approaches facing the Photometric Stereo problem use simplified far-field assumptions, real-world scenarios have essentially more complex physical effects that need to be handled for accurately reconstructing the 3D shape. An increasing number of methods have been proposed to address the problem when point light sources are assumed to be nearby the target object. The proximity of the light sources complicates the modeling of the image formation as the light behaviour requires non-linear parameterisation to describe its propagation and attenuation. To understand the capability of the approaches dealing with this near-field scenario, the literature till now has used synthetically rendered photometric images or minimal and very customised real-world data. In order to fill the gap in evaluating near-field photometric stereo methods, we introduce LUCES the first real-world 'dataset for near-fieLd point light soUrCe photomEtric Stereo' of 14 objects of a varying of materials. A device counting 52 LEDs has been designed to lit each object positioned 10 to 30 centimeters away from the camera. Together with the raw images, in order to evaluate the 3D reconstructions, the dataset includes both normal and depth maps for comparing different features of the retrieved 3D geometry. Furthermore, we evaluate the performance of the latest near-field Photometric Stereo algorithms on the proposed dataset to assess the SOTA method with respect to actual close range effects and object materials.

研究动机与目标

• 为解决近场光度立体方法缺乏标准化真实世界数据集的问题，此类方法由于在手持设备和内窥镜设备中的实际应用而日益重要。
• 提供一个全面的近场光度立体基准，以捕捉复杂的物理效应，如光衰减、透视失真以及非朗伯材质。
• 在真实数据上评估近期近场光度立体算法在多种材质（包括漫反射、金属和镜面表面）上的性能。
• 使用法向图和深度图作为真实值，建立公平且可复现的评估协议，强调深度作为比法向图更可靠的度量指标的重要性。
• 识别三维重建中的持续性挑战，特别是在高频区域和不连续性附近，并为未来研究在边缘处理方面的改进提供指导。

提出的方法

• 使用52个LED灯，距离相机10–30厘米，从不同角度照射14个真实物体，以模拟近场点光源照明。
• 通过标定过的相机在受控光照条件下拍摄光度图像，并为每次采集记录精确的光源与相机标定参数。
• 通过高精度GOM激光扫描获得真实三维几何信息，为每个物体提供法向图和深度图。
• 评估框架对比了多种当前最先进的近场光度立体算法，包括基于经典优化的方法和深度学习方法，采用法向误差和深度误差作为度量指标。
• 研究应用了标准度量指标，如法向图和深度图的平均绝对误差（MAE），并可视化不同材质和物体几何结构下的重建误差。
• 分析包括对重建质量的定性评估，特别关注边缘区域和高频细节，并讨论径向畸变和图像预处理对最终结果的影响。

实验结果

研究问题

• RQ1 当前近场光度立体算法在近距离光照条件下，对具有多样化材质的真实世界数据表现如何？
• RQ2 基于经典优化的方法与基于深度学习的方法在从近场光度图像重建三维几何结构方面的相对性能如何？
• RQ3 材质属性（如镜面反射和金属反射率）在多大程度上影响近场光度立体中三维重建的准确性？
• RQ4 考虑到激光扫描获取的真实法向图可能存在噪声，法向图与深度图哪一个作为近场光度立体的评估指标更可靠？
• RQ5 现有方法的主要失效模式是什么，特别是在具有锐利边界或高几何复杂度的区域？

主要发现

• Logothetis 等人（2020a）提出的基于深度学习的方法在大多数物体上整体表现最佳，尤其在处理复杂材质和降低法向误差方面表现突出。
• Santo 等人（2020b）在镜面和金属材质（如骰子、杯子和铃铛）上的表现优于其他方法，归因于其基于图像块的网络架构能够捕捉精细的表面细节。
• 基于远场假设的方法（Ikehata, 2018）表现显著失败，这与预期一致，因其无法建模近场光衰减和透视效应。
• 即使是最优的方法在重建高频区域（如锐利边缘和不连续性）时仍存在困难，尤其在广口瓶、猫头鹰和杯子等物体上表现明显。
• 法向图预测结果比深度图更嘈杂，表明激光扫描获取的真实法向图可能存在固有误差，因此深度图作为评估指标更可靠。
• 研究观察到，对于深度学习模型，材质的镜面反射特性并未显著降低性能，这些模型始终能正确重建凸面且无自反射的区域，无论材质类型如何。