[论文解读] ARGAN: Attentive Recurrent Generative Adversarial Network for Shadow Detection and Removal

Bin Ding, Chengjiang Long+2 more|arXiv (Cornell University)|Aug 4, 2019

Video Surveillance and Tracking Methods参考文献 54被引用 25

一句话总结

本文提出ARGAN，一种注意力递归生成对抗网络，通过多阶段渐进式步骤检测并去除阴影，利用注意力图与残差学习来优化阴影检测与去除效果。该方法在四个公开数据集上达到最先进性能，尤其在保留纹理细节和生成逼真无阴影图像方面表现优异，通过在无标签数据上进行半监督训练进一步提升了性能。

ABSTRACT

In this paper we propose an attentive recurrent generative adversarial network (ARGAN) to detect and remove shadows in an image. The generator consists of multiple progressive steps. At each step a shadow attention detector is firstly exploited to generate an attention map which specifies shadow regions in the input image.Given the attention map, a negative residual by a shadow remover encoder will recover a shadow-lighter or even a shadow-free image. A discriminator is designed to classify whether the output image in the last progressive step is real or fake. Moreover, ARGAN is suitable to be trained with a semi-supervised strategy to make full use of sufficient unsupervised data. The experiments on four public datasets have demonstrated that our ARGAN is robust to detect both simple and complex shadows and to produce more realistic shadow removal results. It outperforms the state-of-the-art methods, especially in detail of recovering shadow areas.

研究动机与目标

• 开发一种在复杂真实图像中稳健检测并去除阴影的方法。
• 解决传统方法依赖刚性先验、不适用于复杂场景的局限性。
• 通过利用大量无标签阴影图像进行半监督学习，缓解基于深度学习的阴影去除中的数据稀缺问题。
• 提升阴影去除结果的质量与真实感，尤其在保留精细细节与色彩保真度方面。
• 通过带有注意力机制的递归生成器架构，实现从粗到精的渐进式优化。

提出的方法

• 生成器采用多阶段渐进式步骤，以从粗到精的方式逐步优化阴影检测与去除。
• 在每个步骤中，阴影注意力检测器生成注意力图，突出显示输入图像中的阴影区域。
• 阴影去除编码器利用注意力图与前一阶段输出，生成负残差，以恢复无阴影或阴影变浅的图像。
• 集成长短期记忆（LSTM）单元，以在各步骤间保留并传播细节信息，提升检测与恢复的准确性。
• 判别器被训练以区分真实无阴影图像与生成图像，支持对抗性训练以增强结果的真实感。
• 采用半监督学习策略，将大规模无标签阴影图像纳入训练，提升模型的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 与单阶段方法相比，渐进式递归生成器架构是否能提升阴影检测与去除的准确性？
• RQ2 注意力图与残差学习的结合如何提升阴影去除结果的质量？
• RQ3 通过半监督学习引入无标签阴影图像，在多大程度上提升了模型的泛化能力与性能？
• RQ4 在生成器中使用LSTM对阴影区域的纹理细节与色彩一致性有何影响？
• RQ5 与现有最先进方法相比，该方法是否能更好地处理具有复杂阴影模式的复杂场景？

主要发现

• ARGAN在四个公开数据集上均取得最佳性能，在ISTD数据集上非阴影区域的阴影去除RMSE为6.65，优于第二名方法（7.21）。
• 在ISTD数据集上，ARGAN+SS（半监督变体）的全图RMSE达到5.89，显著优于ARGAN的6.68。
• 消融实验证实，若移除LSTM层，性能显著下降，ISTD数据集上的RMSE升至7.57，表明LSTM对保持细节与真实感至关重要。
• 可视化结果表明，ARGAN避免了对非阴影区域的过度增强，而如DeshadowNet与ST-CGAN等方法常在黑暗但非阴影区域造成色彩失真。
• 在复杂场景中，ARGAN成功保留了阴影区域的纹理细节，并确保与周围环境的光照一致性。
• 最优渐进式步骤数（N=3）在性能与复杂度间取得平衡，ISTD数据集上RMSE从N=1时的7.35降至N=4时的6.68。