[论文解读] Characterizing Ambiguity in Light Source Invariant Shape from Shading

Benjamin Kunsberg, Steven W. Zucker|arXiv (Cornell University)|Jun 23, 2013

Computer Graphics and Visualization Techniques参考文献 34被引用 9

一句话总结

本文提出了一种基于微分几何的形状从明暗恢复方法，通过推导对光源方向不变的二阶图像导数来表征表面模糊性。通过利用协变导数分析明暗流场，该方法分离出与光照无关的表面属性，从而在无需事先假设光源方向或反照率的情况下实现局部表面重建。

ABSTRACT

Shape from shading is a classical inverse problem in computer vision. This shape reconstruction problem is inherently ill-defined; it depends on the assumed light source direction. We introduce a novel mathematical formulation for calculating local surface shape based on covariant derivatives of the shading flow field, rather than the customary integral minimization or P.D.E approaches. On smooth surfaces, we show second derivatives of brightness are independent of the light sources and can be directly related to surface properties. We use these measurements to define the matching local family of surfaces that can result from any given shading patch, changing the emphasis to characterizing ambiguity in the problem. We give an example of how these local surface ambiguities collapse along certain image contours and how this can be used for the reconstruction problem.

研究动机与目标

• 解决由于光源方向未知而导致的形状从明暗方法中固有的模糊性问题。
• 建立一个数学框架，以分离出与光源配置无关的图像导数。
• 表征与给定明暗区域一致的所有局部表面族，无论照明条件如何。
• 通过利用边界处的曲率等局部几何约束，减少模糊性，实现形状重建。
• 将表面推理建模为纤维丛问题，其中每个图像区域对应一组可能的（表面，光源）配对。

提出的方法

• 利用明暗流场（与等照度线相切）的协变导数，推导出对光源方向不变的二阶图像导数。
• 通过沿表面切向量的方向导数，推导出图像辐照度（I_{uv}, I_{vv}）的二阶导数表达式。
• 应用微分几何，将图像导数与表面法向变化及第二基本形式分量相关联。
• 提出将图像等照度线提升为类似于V1皮层方向选择性柱的向量场表示。
• 将形状从明暗问题建模为从可能的（表面，光源）配对纤维丛中选取一个截面。
• 使用克里斯托费尔符号和度量张量以坐标无关的方式表达曲率项，从而实现鲁棒的局部表面表征。

实验结果

研究问题

• RQ1 哪些图像导数在光源方向改变时保持不变，以及如何利用它们推断表面形状？
• RQ2 如何在不假设光源或反照率先验知识的前提下，对形状从明暗的模糊性进行参数化？
• RQ3 局部几何约束（如图像边界处的曲率）在压缩可能表面族中的作用是什么？
• RQ4 V1皮层中方向选择性柱的神经机制能否被数学建模，以支持前向形状推理流程？
• RQ5 如何利用亮度的二阶导数提取与照明无关的内在表面属性？

主要发现

• 图像辐照度的二阶导数对光源方向具有不变性，仅依赖于表面曲率和图像梯度结构。
• 明暗约束的方向导数产生一个与⟨∇f, dN(·)⟩成正比的项，该量捕捉了与光照无关的表面法向变化。
• 推导出的I_{uv}和I_{vv}表达式中包含一个来自光源方向的附加项，该附加项可简化为表面梯度与法向变化的函数。
• 该方法成功地将图像数据分离为同时依赖于表面和光源的分量，以及仅依赖于表面形状的分量，从而实现光源无关的重建。
• 边界曲率约束能够压缩模糊的表面族，以一种与Marr的最小承诺原则一致的方式减少模糊性。
• 该公式化支持通过视觉皮层中V1区及更高区域的前馈与反馈连接实现神经生物学上合理的实现。