[论文解读] Automatic Layer Separation using Light Field Imaging

Qiaosong Wang, Haiting Lin+3 more|arXiv (Cornell University)|Jun 15, 2015

Advanced Vision and Imaging参考文献 14被引用 13

一句话总结

本文提出了一种基于光场成像的单次方法，用于在存在反射或半透明性的情况下自动分离图像层。通过在由光场视图构成的形变图像堆栈上应用鲁棒主成分分析（RPCA），该方法联合分离透射层与二次层，同时估计深度，在无需用户输入或多张曝光的情况下，对静态和动态场景均表现出鲁棒性能。

ABSTRACT

We propose a novel approach that jointly removes reflection or translucent layer from a scene and estimates scene depth. The input data are captured via light field imaging. The problem is couched as minimizing the rank of the transmitted scene layer via Robust Principle Component Analysis (RPCA). We also impose regularization based on piecewise smoothness, gradient sparsity, and layer independence to simultaneously recover 3D geometry of the transmitted layer. Experimental results on synthetic and real data show that our technique is robust and reliable, and can handle a broad range of layer separation problems.

研究动机与目标

• 解决从单张图像中分离反射或半透明层这一病态问题，传统方法通常需要多张图像或用户输入。
• 通过光场成像实现在无需多次拍摄或用户辅助先验条件下的自动单次层分离。
• 通过在视差图下利用形变图像堆栈的低秩结构，联合估计场景深度并分离图层。
• 通过使用便携式光场相机阵列，使动态场景的处理成为可能，而传统多视角方法此前难以实现。
• 通过结合SIFT光流进行初始深度估计，并结合基于RPCA的迭代优化改进，提升方法的鲁棒性与准确性。

提出的方法

• 使用便携式 $3\times3$ 相机阵列捕获光场，以中心视图为参考视图。
• 利用SIFT光流估计初始视差图，以对齐多视角光场数据。
• 利用视差图将所有光场视图形变到参考视图，形成二维图像堆栈。
• 透射层的形变堆栈预期为低秩，而二次层（如反射）则为稀疏且不相干；该结构使鲁棒主成分分析（RPCA）分解成为可能。
• 基于RPCA的迭代优化同时实现图层分离与视差图精炼。
• 通过分段平滑性、梯度稀疏性及图层独立性等正则化手段，提升几何与光度一致性。

实验结果

研究问题

• RQ1 光场成像能否在无需用户输入或多张曝光的情况下，实现单次自动层分离？
• RQ2 能否有效利用形变光场图像堆栈的低秩结构，实现图层的联合分离与深度估计？
• RQ3 与传统多视角方法相比，该方法在具有移动反射的动态场景中的表现如何？
• RQ4 透射层的主导性对初始视差估计与图层分离准确率有何影响？
• RQ5 该方法能否生成适用于深度引导对焦等下游应用的高质量深度图？

主要发现

• 该方法在合成与真实世界的静态场景中均实现了鲁棒的图层分离，成功去除了反射与半透明效应，同时保留了精细纹理与几何细节。
• 该方法生成了高质量的深度图，可实现深度引导对焦等高级基于图像的渲染效果，如图7所示。
• 该技术成功处理了透射层与二次层中均存在运动物体的动态场景，这是以往类似方法未能实现的能力。
• 当混合参数 $\alpha \leq 25\%$ 时，该方法在两层中均实现了超过95%的重建准确率，错误恢复像素少于5%。
• 当 $\alpha > 35\%$ 时性能显著下降，当 $\alpha > 50\%$ 时完全失效，表明方法对透射层占主导地位有强依赖性。
• 处理一帧 $640\times 480$ 的光场视频（9个视图）约需7分钟，考虑到联合图层分离与深度估计的复杂性，该速度具有竞争力。