[论文解读] Generative Single Image Reflection Separation

Dong‐Hoon Lee, Ming–Hsuan Yang+1 more|arXiv (Cornell University)|Jan 12, 2018

Advanced Image Processing Techniques参考文献 21被引用 11

一句话总结

该论文提出了一种基于生成对抗网络（GAN）的弱监督方法，用于单图像反射分离，利用已知的场景类别生成透射和反射场景，而无需依赖模糊假设或真实标签配对。该方法在分离反射方面实现了最先进性能，尤其在真实和合成数据上恢复出逼真的反射场景方面表现优异。

ABSTRACT

Single image reflection separation is an ill-posed problem since two scenes, a transmitted scene and a reflected scene, need to be inferred from a single observation. To make the problem tractable, in this work we assume that categories of two scenes are known. It allows us to address the problem by generating both scenes that belong to the categories while their contents are constrained to match with the observed image. A novel network architecture is proposed to render realistic images of both scenes based on adversarial learning. The network can be trained in a weakly supervised manner, i.e., it learns to separate an observed image without corresponding ground truth images of transmission and reflection scenes which are difficult to collect in practice. Experimental results on real and synthetic datasets demonstrate that the proposed algorithm performs favorably against existing methods.

研究动机与目标

• 通过假设透射和反射场景的已知类别，解决单图像反射分离问题的病态性质。
• 消除对不切实际假设（如模糊反射场景）的依赖，这些假设在现代大景深相机中并不成立。
• 实现在无需透射与反射场景真实标签对的情况下进行训练，仅使用类别标签。
• 通过对抗学习联合生成逼真的透射和反射场景，提升分离质量与反射场景的合理性。
• 在先前方法因反射区域非均匀或不可见而失效的真实世界图像中，证明方法的有效性。

提出的方法

• 采用条件 GAN 框架，其中生成器根据已知场景类别生成透射和反射场景。
• 使用对抗训练，通过分别针对透射和反射场景的判别器，确保生成图像的真实性。
• 在弱监督设置下训练网络，仅使用类别标签，无需透射与反射场景的真实图像配对。
• 将观测图像建模为生成场景的特征级组合，而非像素级线性混合，从而实现更灵活且逼真的重建。
• 引入置信度图以可视化网络对透射场景预测的确定性，增强可解释性。
• 通过随机合成参数的数据增强，提升模型在多样化反射模式下的泛化能力。

实验结果

研究问题

• RQ1 在现代相机条件下，是否可以有效解决单图像反射分离问题，而无需假设反射场景模糊？
• RQ2 当仅提供场景类别标签时，生成模型在多大程度上能生成逼真的透射和反射场景？
• RQ3 所提出的弱监督方法在真实世界图像上泛化能力如何，尤其在缺乏真实标签对的情况下？
• RQ4 当透射场景部分被反射遮挡时，网络是否仍能有意义地恢复出两个场景？
• RQ5 与最先进方法相比，该模型在合成和真实数据上的表现如何，特别是在生成合理反射场景方面？

主要发现

• 所提方法在分离反射方面优于现有最先进方法，尤其在合成和真实图像上生成逼真反射场景方面表现突出。
• 在合成数据上，网络在无任何真实标签图像的情况下成功分离出反射，表明在弱监督下具有强大的泛化能力。
• 在真实图像上，即使透射场景部分被遮挡，该方法仍能生成合理可信的透射和反射场景，而先前方法则无法恢复这些区域。
• 置信度图显示，网络在结构内容清晰的区域最为确定，表明在信息丰富的区域预测更可靠。
• 结果表明，使用不同随机种子，网络可为同一输入生成多种合理分离结果，凸显其探索与观测一致的多样化解的能力。
• 尽管在合成数据上表现优异，当使用非真实感的合成模型时，该方法在真实图像上仍存在困难，表明训练数据的真实性对泛化至关重要。