[论文解读] Instance Shadow Detection

Tianyu Wang, Xiaowei Hu+3 more|arXiv (Cornell University)|Nov 16, 2019

Video Surveillance and Tracking Methods参考文献 62被引用 6

一句话总结

本文提出了实例阴影检测这一新任务，联合检测阴影与物体实例并建立其关联，提出SOBA数据集（含3,623对阴影-物体实例）与LISA框架，实现端到端的实例、关联与光照方向预测。主要贡献为提出新型评估指标SOAP，并在光照方向估计与阴影一致性的智能照片编辑中展示实际应用价值。

ABSTRACT

Instance shadow detection is a brand new problem, aiming to find shadow instances paired with object instances. To approach it, we first prepare a new dataset called SOBA, named after Shadow-OBject Association, with 3,623 pairs of shadow and object instances in 1,000 photos, each with individual labeled masks. Second, we design LISA, named after Light-guided Instance Shadow-object Association, an end-to-end framework to automatically predict the shadow and object instances, together with the shadow-object associations and light direction. Then, we pair up the predicted shadow and object instances, and match them with the predicted shadow-object associations to generate the final results. In our evaluations, we formulate a new metric named the shadow-object average precision to measure the performance of our results. Further, we conducted various experiments and demonstrate our method's applicability on light direction estimation and photo editing.

研究动机与目标

• 为解决图像中个体阴影与物体实例及其关联缺乏专用基准与方法的问题。
• 构建一个包含1,000张图像与3,623个标注阴影-物体实例对的新数据集SOBA，提供阴影、物体与关联的独立掩码。
• 设计一个端到端深度学习框架LISA，同步预测阴影与物体实例掩码、其关联关系以及光照方向。
• 提出一种新型评估指标——阴影-物体平均精度（SOAP），用于定量衡量实例阴影检测性能。
• 在光照方向估计与智能照片编辑等实际应用中展示效果，如完整移除物体及其阴影，或实现阴影一致的物体转移。

提出的方法

• SOBA数据集由1,000张图像构成，每张图像标注了三类实例掩码：阴影实例、物体实例及阴影-物体关联对，每类实例使用唯一颜色标识。
• LISA框架是一种端到端深度学习模型，联合预测：(1) 阴影与物体实例的边界框与掩码，(2) 阴影-物体关联的边界框，(3) 每个关联的光照方向。
• 后处理模块基于空间邻近性与预测的阴影-物体关联边界框，配对预测的阴影与物体实例。
• 框架采用多任务学习策略，共享主干特征，并通过任务特定头分别实现掩码预测、边界框回归与光照方向估计。
• 光照方向通过阴影与物体实例之间的几何关系估算，以物体中心到阴影中心的向量作为代理。
• 方法利用实例分割头与光照引导注意力模块，提升关联预测的准确性与鲁棒性。

实验结果

研究问题

• RQ1 能否有效构建一个具备细粒度实例级标注的新型数据集，以支持实例阴影检测任务？
• RQ2 能否设计一个端到端深度学习框架，高精度地联合预测阴影与物体实例、其关联关系以及光照方向？
• RQ3 新型评估指标SOAP能否提供可靠且有意义的实例阴影检测性能定量评估？
• RQ4 预测的阴影-物体关联与光照方向能否有效用于下游应用，如光照方向估计与照片编辑？
• RQ5 在新提出的SOBA基准上，所提方法相较于基线方法在实例检测与关联准确性方面表现如何？

主要发现

• SOBA数据集包含1,000张图像，共3,623个独特的阴影-物体实例对，每对均标注了阴影、物体与关联三类独立掩码。
• LISA框架在SOBA基准上达到最先进性能，展现出在多样化场景与阴影类型下的强泛化能力。
• 所提出的SOAP指标实现了可靠的定量评估，表明LISA在实例检测与关联准确性方面均优于基线方法。
• 预测的光照方向与真实世界光照一致，经验证：通过渲染的虚拟阴影与测试图像中的真实阴影完全对齐。
• 在照片编辑任务中，该方法可实现物体及其关联阴影的完整移除，避免了以往方法中常见的残留阴影问题。
• 该方法支持光照感知的物体迁移，即根据目标场景中估计的光照方向自动调整阴影，实现视觉一致的编辑效果。