[论文解读] Unsupervised RGBD Video Object Segmentation Using GANs

M. Sultana, Arif Mahmood+2 more|arXiv (Cornell University)|Nov 5, 2018

Video Surveillance and Tracking Methods参考文献 27被引用 10

一句话总结

本文提出 ForeGAN_RGBD，一种使用生成对抗网络（GANs）的无监督 RGBD 视频目标分割方法，联合利用颜色与深度模态。该方法在 RGB 和深度数据上独立训练 GAN，以生成场景特定的背景，从测试帧中减去这些背景以检测运动目标，并通过融合结果在光照变化、阴影以及颜色/深度伪装等复杂条件下提升分割精度。

ABSTRACT

Video object segmentation is a fundamental step in many advanced vision applications. Most existing algorithms are based on handcrafted features such as HOG, super-pixel segmentation or texture-based techniques, while recently deep features have been found to be more efficient. Existing algorithms observe performance degradation in the presence of challenges such as illumination variations, shadows, and color camouflage. To handle these challenges we propose a fusion based moving object segmentation algorithm which exploits color as well as depth information using GAN to achieve more accuracy. Our goal is to segment moving objects in the presence of challenging background scenes, in real environments. To address this problem, GAN is trained in an unsupervised manner on color and depth information independently with challenging video sequences. During testing, the trained GAN generates backgrounds similar to that in the test sample. The generated background samples are then compared with the test sample to segment moving objects. The final result is computed by fusion of object boundaries in both modalities, RGB and the depth. The comparison of our proposed algorithm with five state-of-the-art methods on publicly available dataset has shown the strength of our algorithm for moving object segmentation in videos in the presence of challenging real scenarios.

研究动机与目标

• 解决在光照变化、阴影以及颜色或深度伪装等复杂背景条件下，现实世界视频中前景目标分割的挑战。
• 克服传统手工设计方法与基于深度学习的方法在动态或模糊背景场景下性能下降的局限性。
• 开发一种无监督学习框架，利用 RGB 和深度模态，无需标注训练数据。
• 在前景目标几乎始终存在于所有帧的自举（bootstrapping）场景中提升鲁棒性。
• 通过融合来自 GAN 生成背景的 RGB 和深度模态预测，实现更优的分割性能。

提出的方法

• 使用无监督对抗训练方案，在 RGB 和深度视频序列上分别训练两个独立的 GAN，以学习场景特定的背景表征。
• 推理阶段，利用光流估计运动掩码，并从测试帧中掩蔽移动目标，以隔离背景内容。
• 使用掩蔽后的测试帧作为输入，通过训练好的 GAN 生成背景图像，利用反向传播重建合理的背景场景。
• 将生成的背景从原始测试帧中减去，以在 RGB 和深度模态中提取前景目标候选。
• 通过逐元素平均或投票方式融合来自两个模态的二值分割掩码，生成最终的前景分割结果。
• 利用 GAN 建模低秩背景结构的能力，实现时空一致性，增强对动态背景和噪声的鲁棒性。

实验结果

研究问题

• RQ1 无监督 GAN 方法能否在真实世界挑战下，有效学习 RGB 和深度模态中的背景表征？
• RQ2 融合 RGB 和深度 GAN 的预测结果，相比单模态方法，能否显著提升分割鲁棒性？
• RQ3 在存在阴影、光照变化或颜色伪装的场景中，GAN 生成的背景在性能上能否超越传统背景建模技术？
• RQ4 在前景目标几乎始终存在于所有帧的自举场景中，该方法表现如何？
• RQ5 RGB 和深度预测的融合是否能带来比当前最先进方法更准确且更一致的前景分割？

主要发现

• 所提出的 ForeGAN_RGBD 方法在 Shadows 类别中取得了最高的 F-measure 分数（0.9271），优于所有对比方法，包括 cwisardH+。
• 在 Color Camouflage 类别中，ForeGAN_RGBD 取得了最佳 F-measure（0.8923），表明当前景目标与背景颜色相近时仍具有强鲁棒性。
• 在 Depth Camouflage 类别中，ForeGAN_RGBD 记录了最高的 F-measure（0.8891），表明在前景目标与背景深度相似时仍具有优异表现。
• 在 Out of Range 类别中，ForeGAN_RGBD 取得了第二高的 F-measure（0.8726），显示出在极端深度异常值情况下的强性能，但略有局限。
• 在 Bootstrapping 类别中，ForeGAN_RGBD 取得了最高的 F-measure，证实其在前景目标几乎始终存在的情况下仍能学习稳定背景模型的能力。
• 图 2 和图 3 的定性结果表明，ForeGAN_RGBD 生成的前景掩码比所有对比方法更准确、更完整，尤其在存在阴影和运动模糊的复杂场景中表现更优。