[论文解读] HLA-Face: Joint High-Low Adaptation for Low Light Face Detection

Wenjing Wang, Wenhan Yang+1 more|arXiv (Cornell University)|Apr 5, 2021

Face recognition and analysis被引用 5

一句话总结

HLA-Face 提出了一种联合高-低适应框架，用于在无需暗光人脸标注的情况下进行低光照人脸检测。通过在像素级别双向适应低光照和正常光照图像，并使用多任务自监督学习进行特征对齐，该方法在 DARK FACE 数据集上实现了 44.4% 的最先进 mAP，优于依赖标注暗光数据的方法。

ABSTRACT

Face detection in low light scenarios is challenging but vital to many practical applications, e.g., surveillance video, autonomous driving at night. Most existing face detectors heavily rely on extensive annotations, while collecting data is time-consuming and laborious. To reduce the burden of building new datasets for low light conditions, we make full use of existing normal light data and explore how to adapt face detectors from normal light to low light. The challenge of this task is that the gap between normal and low light is too huge and complex for both pixel-level and object-level. Therefore, most existing low-light enhancement and adaptation methods do not achieve desirable performance. To address the issue, we propose a joint High-Low Adaptation (HLA) framework. Through a bidirectional low-level adaptation and multi-task high-level adaptation scheme, our HLA-Face outperforms state-of-the-art methods even without using dark face labels for training. Our project is publicly available at https://daooshee.github.io/HLA-Face-Website/

研究动机与目标

• 解决在不依赖昂贵暗光人脸标注的情况下进行低光照人脸检测的挑战。
• 在像素和语义层面弥合正常光照与低光照图像之间的巨大域差距。
• 通过自监督适应提升人脸检测器在低照度场景下的泛化能力和鲁棒性。
• 开发一种可扩展的框架，利用现有的正常光照数据集实现低光照环境下的部署。

提出的方法

• 提出一种双向低层次适应：对低光照图像进行增强，并对正常光照图像施加噪声和色彩偏移，以构建中间域。
• 引入一种基于拼图和旋转掩码的多任务自监督学习方案，用于对齐跨域特征。
• 采用跨域对比学习，最小化中间域与真实低光照特征之间的特征距离。
• 使用强基准人脸检测主干网络（DSFD）并结合来自中间域的增强特征，以提升检测性能。
• 在推理阶段应用特征金字塔多尺度测试，尽管即使不使用该策略，方法依然有效。
• 利用伪标签和对比学习作为“软”监督，以优化特征而无需人工标注。

实验结果

研究问题

• RQ1 是否可以在不使用标注暗光人脸数据的情况下提升低光照条件下的面部检测性能？
• RQ2 如何有效弥合正常光照与低光照图像在像素级别和语义级别上的巨大域差距？
• RQ3 联合高层与低层适应是否优于单模态适应或仅增强的方法？
• RQ4 在无标签情况下，自监督学习是否能有效对齐跨域特征？
• RQ5 在低光照检测中，低层次增强与高层特征适应的相对贡献分别是什么？

主要发现

• HLA-Face 在 DARK FACE 基准测试中达到 44.4% 的 mAP，超越了使用暗光人脸标注的最先进方法。
• 即使未使用任何 DARK FACE 标注，该模型在 mAP 上仍比基线 DSFD 提升超过 29 个百分点。
• 双向低层次适应与跨域对比学习的结合实现了最高 mAP，表明存在协同增益效应。
• 拼图掩码预训练任务在中间域上达到 99.3% 的 top-1 准确率，表明特征学习效果显著。
• 对比学习优于伪标签方法，表明“软”监督比噪声较大的人工标签更具鲁棒性。
• 即使不使用特征金字塔多尺度测试，该方法依然有效，在较弱基线上达到 41.4% 的 mAP。