[论文解读] High Speed Event-based Face Detection and Tracking in the Blink of an Eye

Gregor Lenz, Sio-Hoï Ieng+1 more|arXiv (Cornell University)|Mar 27, 2018

Neural dynamics and brain function被引用 4

一句话总结

本文提出了一种纯事件驱动的面部检测与追踪方法，利用眨眼作为动态特征，借助事件相机的高时间分辨率。通过建模个体间同步眨眼的独特时间模式，该方法实现了低延迟、计算高效且具备实时性能的面部检测与概率追踪，适用于多种环境。

ABSTRACT

We present the first purely event-based method for face detection using the high temporal resolution of an event-based camera. We will rely on a new feature that has never been used for such a task that relies on detecting eye blinks. Eye blinks are a unique natural dynamic signature of human faces that is captured well by event-based sensors that rely on relative changes of luminance. Although an eye blink can be captured with conventional cameras, we will show that the dynamics of eye blinks combined with the fact that two eyes act simultaneously allows to derive a robust methodology for face detection at a low computational cost and high temporal resolution. We show that eye blinks have a unique temporal signature over time that can be easily detected by correlating the acquired local activity with a generic temporal model of eye blinks that has been generated from a wide population of users. We furthermore show that once the face is reliably detected it is possible to apply a probabilistic framework to track the spatial position of a face for each incoming event while updating the position of trackers. Results are shown for several indoor and outdoor experiments. We will also release an annotated data set that can be used for future work on the topic.

研究动机与目标

• 解决在计算负载极低且时间分辨率高的动态环境中进行面部检测的挑战。
• 利用人眼自然且同步的眨眼行为作为独特动态特征，实现面部检测。
• 开发一种鲁棒且低成本的方法，利用事件传感器的时间敏感特性检测面部，而无需依赖传统图像特征。
• 通过集成一种概率框架，每次接收事件时更新面部位置，实现实时面部追踪。

提出的方法

• 通过将局部事件活动与从多样化用户群体中提取的通用眨眼动态时间模型进行相关性分析，检测眨眼行为。
• 利用双眼同时眨眼形成的独特时空模式，将面部与其他运动物体区分开来。
• 应用一种概率追踪框架，利用传入的事件流实时更新面部位置估计。
• 使用标准波形模板对眨眼的时间特征进行建模，以在不同光照和运动条件下实现可靠检测。
• 利用事件相机输出——由亮度变化触发的稀疏、异步事件——以微秒级精度捕捉快速眨眼动态。
• 在新发布的、带有标注的事件驱动眨眼序列数据集上训练并验证检测模型。

实验结果

研究问题

• RQ1 能否利用事件传感器可靠检测眨眼动态，以实现无需传统图像特征的面部检测？
• RQ2 双眼同步眨眼是否能提供一种独特且鲁棒的时间特征，以区分人类面部与其他物体？
• RQ3 通用的眨眼时间模型是否可适用于多样化用户和环境，以支持一致的检测性能？
• RQ4 在计算成本低且时间分辨率高的前提下，事件驱动的面部检测与追踪能达到何种程度？

主要发现

• 眨眼在事件数据中产生独特且可重复的时间特征，可借助通用时间模型可靠检测。
• 该方法实现了高时间分辨率的实时面部检测，利用动态亮度变化的微秒级事件时间精度。
• 双眼同步眨眼显著提升了检测鲁棒性，相较于单眼运动或随机眨眼模式更具优势。
• 概率追踪框架在持续事件流处理过程中，以极低计算开销保持了准确的面部位置估计。
• 该方法在室内和室外环境中均表现出一致的性能，包括不同光照和运动条件。
• 作者发布了新的带有标注的事件驱动面部眨眼序列数据集，以支持未来在事件驱动面部检测领域的研究。