[论文解读] Domain Adaptation from Synthesis to Reality in Single-model Detector for Video Smoke Detection

Xu Gao, Yongming Zhang+3 more|arXiv (Cornell University)|Sep 24, 2017

Fire Detection and Safety Systems参考文献 27被引用 9

一句话总结

本文提出了一种用于单模型视频烟雾检测的端到端域自适应方法，弥合了合成烟雾数据与真实烟雾数据之间的域差距。通过将对抗自适应直接整合到SSD和MS-CNN的检测头中，该模型在基线检测器之上实现了更优的性能，其中对抗自适应在减轻域偏移影响方面优于基于差异的方法。

ABSTRACT

This paper proposes a method for video smoke detection using synthetic smoke samples. The virtual data can automatically offer precise and rich annotated samples. However, the learning of smoke representations will be hurt by the appearance gap between real and synthetic smoke samples. The existed researches mainly work on the adaptation to samples extracted from original annotated samples. These methods take the object detection and domain adaptation as two independent parts. To train a strong detector with rich synthetic samples, we construct the adaptation to the detection layer of state-of-the-art single-model detectors (SSD and MS-CNN). The training procedure is an end-to-end stage. The classification, location and adaptation are combined in the learning. The performance of the proposed model surpasses the original baseline in our experiments. Meanwhile, our results show that the detectors based on the adversarial adaptation are superior to the detectors based on the discrepancy adaptation. Code will be made publicly available on http://smoke.ustc.edu.cn. Moreover, the domain adaptation for two-stage detector is described in Appendix A.

研究动机与目标

• 解决视频烟雾检测中合成数据与真实烟雾视频数据之间的域偏移问题。
• 提升在合成数据上训练的单模型检测器（SSD和MS-CNN）在真实世界场景中的泛化能力。
• 将域自适应直接集成到检测头中，实现端到端训练。
• 比较对抗自适应与基于差异的自适应在该检测设置下的有效性。
• 证明当应用适当的域自适应时，合成数据可被有效用于真实世界的烟雾检测。

提出的方法

• 该方法将域自适应集成到最先进的一阶段检测器（SSD和MS-CNN）的检测头中，以端到端的方式联合训练分类、定位和自适应任务。
• 在检测层应用对抗自适应，利用域判别器最小化域特定特征，同时保留与检测相关的表征。
• 在训练过程中，自适应损失与分类损失和定位损失联合优化，使模型能够学习域不变特征。
• 该方法在真实烟雾视频数据集上进行评估，使用合成数据进行预训练，并通过域自适应进行微调。
• 该方法还扩展至两阶段检测器，详见附录A。
• 代码已公开发布，以支持可复现性与进一步研究。

实验结果

研究问题

• RQ1 在检测头处应用对抗域自适应是否能提升在合成烟雾数据上训练的单模型检测器在真实世界视频数据上的泛化能力？
• RQ2 与检测与自适应分开训练相比，检测与自适应的端到端联合优化有何差异？
• RQ3 对抗自适应是否在减轻视频烟雾检测的域偏移方面优于基于差异的自适应？
• RQ4 当结合有效的域自适应时，合成烟雾数据在多大程度上能提升真实世界检测性能？
• RQ5 所提出的方法在两阶段检测器上的可扩展性如何，其性能影响是什么？

主要发现

• 与未使用域自适应在合成数据上训练的原始基线检测器相比，所提方法显著提升了性能。
• 采用对抗自适应的检测器在真实烟雾视频数据上的平均平均精度（mAP）高于采用基于差异自适应的检测器。
• 通过联合优化分类、定位与域自适应的端到端训练，实现了更好的特征对齐与检测性能。
• 该模型在真实世界烟雾视频序列上表现出强大的泛化能力，验证了域自适应在弥合合成到真实域差距方面的有效性。
• 消融实验证实，检测层的域自适应比在早期特征提取阶段进行自适应更有效。
• 该方法在单阶段检测器（SSD、MS-CNN）和两阶段检测器上均有效，两类架构均观察到性能提升。