[论文解读] Unobtrusive Low Cost Pupil Size Measurements using Web cameras

Sergios Petridis, Θεόδωρος Γιαννακόπουλος+1 more|arXiv (Cornell University)|Nov 28, 2013

Gaze Tracking and Assistive Technology参考文献 11被引用 5

一句话总结

本文提出了一种低成本、无侵入性的方法，通过标准网络摄像头利用基于滤波的方法检测虹膜和瞳孔区域，实现实时瞳孔大小估计。该方法在瞳孔直径估计中达到85%的准确率（平均误差0.9mm），足以满足日常环境中对衰老、疲劳和情绪状态的长期健康监测需求。

ABSTRACT

Unobtrusive every day health monitoring can be of important use for the elderly population. In particular, pupil size may be a valuable source of information, since, apart from pathological cases, it can reveal the emotional state, the fatigue and the ageing. To allow for unobtrusive monitoring to gain acceptance, one should seek for efficient methods of monitoring using com- mon low-cost hardware. This paper describes a method for monitoring pupil sizes using a common web camera in real time. Our method works by first detecting the face and the eyes area. Subsequently, optimal iris and sclera location and radius, modelled as ellipses, are found using efficient filtering. Finally, the pupil center and radius is estimated by optimal filtering within the area of the iris. Experimental result show both the efficiency and the effectiveness of our approach.

研究动机与目标

• 通过低成本消费级硬件实现在老年人群中无侵入性、长期的生理监测。
• 解决在标准网络摄像头获取的低分辨率、可见光谱视频中实现精确瞳孔大小估计的挑战。
• 开发一种鲁棒的、无监督的方法，无需专用红外成像即可同时检测虹膜和瞳孔的中心与半径。
• 在新整理的、包含瞳孔区域和大小人工标注的数据集上评估该方法的性能。
• 证明使用普通网络摄像头在日常健康监测中实现可靠、实时的瞳孔测量的可行性。

提出的方法

• 使用SHORE TM系统进行人脸检测，该系统可在50fps以上实现快速、高精度的人脸和眼部区域定位。
• 通过在眼部区域应用一组线性滤波器实现虹膜和巩膜检测，滤波器针对半径、亮度、饱和度和对称性进行优化。
• 使用三区域掩码（虹膜、巩膜、皮肤）并结合归一化权重，突出暗色虹膜区域与较亮巩膜的对比，基于亮度评分实现。
• 通过在检测到的虹膜区域内进行最优滤波，利用递归滤波最小化误差，估计瞳孔中心和半径。
• 该方法使用结合亮度、饱和度和对称性的评分函数，以最大化虹膜和瞳孔边界检测的置信度。
• 瞳孔大小估计通过一个包含50张人工标注的1280×960图像的自定义数据集进行验证，使用F1、精确率和召回率衡量标注者间的一致性。

实验结果

研究问题

• RQ1 低成本、可见光谱网络摄像头是否能在无红外照明条件下实现准确且可靠的瞳孔大小估计？
• RQ2 所提出的基于滤波的方法在中心和半径估计精度方面与当前最先进的眼部和虹膜检测技术相比如何？
• RQ3 瞳孔检测性能在多大程度上足以检测与疲劳或情绪状态相关的生理学上相关的瞳孔大小变化？
• RQ4 该方法在瞳孔大小估计中的准确性与在人工标注数据集上的人工标注性能相比如何？
• RQ5 该方法能否支持使用标准消费级网络摄像头实现长期、无侵入性的生理状态监测？

主要发现

• 所提出的方法在虹膜中心检测中达到99%的容差准确率（T=0.25），优于大多数现有方法，并与文献中最佳结果相当。
• 在瞳孔大小估计方面，该方法的平均F1得分为67%，比标注者间的一致性（79%）低12个百分点，表明其具有较强的但非完美的类人水平一致性。
• 该方法在瞳孔直径估计中达到85%的准确率，对应6mm瞳孔的平均误差为0.9mm，远低于2mm的临床显著变化阈值。
• 该方法对眼色和光照变化具有鲁棒性，这在数据集中多样化的眼部类型中表现一致。
• 该方法实现了使用标准网络摄像头进行实时、无监督、低成本的瞳孔测量，适用于长期健康监测应用。
• 本研究指出，目前缺乏包含完整瞳孔区域标注的公开数据集，因此整理并发布了包含50张人工标注图像的新数据集以供评估。