[论文解读] SIP-SegNet: A Deep Convolutional Encoder-Decoder Network for Joint Semantic Segmentation and Extraction of Sclera, Iris and Pupil based on Periocular Region Suppression

Bilal Hassan, Ramsha Ahmed+2 more|arXiv (Cornell University)|Feb 15, 2020

Biometric Identification and Security参考文献 104被引用 8

一句话总结

SIP-SegNet 是一种深度编码器-解码器网络，通过自适应阈值化和模糊滤波抑制眼周区域，在非受限眼图像中联合分割角膜、虹膜和瞳孔。在 CASIA 数据集上，结合 DnCNN 去噪、CLAHE 增强和全连接的全卷积架构，其角膜、虹膜和瞳孔的平均 F1 分数分别达到 93.35、95.11 和 96.69。

ABSTRACT

The current developments in the field of machine vision have opened new vistas towards deploying multimodal biometric recognition systems in various real-world applications. These systems have the ability to deal with the limitations of unimodal biometric systems which are vulnerable to spoofing, noise, non-universality and intra-class variations. In addition, the ocular traits among various biometric traits are preferably used in these recognition systems. Such systems possess high distinctiveness, permanence, and performance while, technologies based on other biometric traits (fingerprints, voice etc.) can be easily compromised. This work presents a novel deep learning framework called SIP-SegNet, which performs the joint semantic segmentation of ocular traits (sclera, iris and pupil) in unconstrained scenarios with greater accuracy. The acquired images under these scenarios exhibit purkinje reflexes, specular reflections, eye gaze, off-angle shots, low resolution, and various occlusions particularly by eyelids and eyelashes. To address these issues, SIP-SegNet begins with denoising the pristine image using denoising convolutional neural network (DnCNN), followed by reflection removal and image enhancement based on contrast limited adaptive histogram equalization (CLAHE). Our proposed framework then extracts the periocular information using adaptive thresholding and employs the fuzzy filtering technique to suppress this information. Finally, the semantic segmentation of sclera, iris and pupil is achieved using the densely connected fully convolutional encoder-decoder network. We used five CASIA datasets to evaluate the performance of SIP-SegNet based on various evaluation metrics. The simulation results validate the optimal segmentation of the proposed SIP-SegNet, with the mean f1 scores of 93.35, 95.11 and 96.69 for the sclera, iris and pupil classes respectively.

研究动机与目标

• 解决在非受限环境中进行眼部分割所面临的挑战，包括反光、低分辨率、上/下睫毛/眼睑遮挡以及视线变化。
• 通过实现关键眼部特征的精确分割，提升多模态生物识别系统的鲁棒性和准确性。
• 通过自适应抑制技术减少眼周区域——常见噪声源和误分类原因——的干扰。
• 开发一种统一的深度学习框架，以高精度联合执行角膜、虹膜和瞳孔的语义分割。

提出的方法

• 使用去噪卷积神经网络（DnCNN）进行预处理，以减少原始眼图像中的图像噪声。
• 应用对比度受限自适应直方图均衡化（CLAHE）以去除反光并增强图像质量。
• 通过自适应阈值化提取眼周区域，以隔离感兴趣区域。
• 通过模糊滤波抑制眼周信息，以在分割过程中最小化干扰。
• 使用全连接的全卷积编码器-解码器网络（SIP-SegNet）进行角膜、虹膜和瞳孔的语义分割。
• 使用五个 CASIA 数据集进行端到端训练与推理，以确保在多样化成像条件下的泛化能力。

实验结果

研究问题

• RQ1 深度学习框架能否在最小人工干预下，准确联合分割非受限眼图像中的角膜、虹膜和瞳孔？
• RQ2 在具有挑战性的成像条件下，眼周区域抑制在提升眼部结构分割精度方面的有效性如何？
• RQ3 DnCNN 去噪与 CLAHE 增强预处理在多大程度上提升了眼部分割网络的性能？
• RQ4 与传统预处理方法相比，集成模糊滤波用于眼周区域抑制在分割 F1 分数上的表现如何？
• RQ5 SIP-SegNet 在多样化的现实世界眼图像数据集上的表现如何，特别是在低分辨率、反光和遮挡条件下？

主要发现

• SIP-SegNet 在角膜分割上实现了 93.35 的平均 F1 分数，表明在具有挑战性的非受限图像中具有高精度和高召回率。
• 该模型在虹膜分割上达到了 95.11 的平均 F1 分数，表现出对反光和遮挡的强大鲁棒性。
• 瞳孔分割达到了最高的平均 F1 分数 96.69，反映出在小尺寸、低对比度区域的优异性能。
• DnCNN 去噪与 CLAHE 增强的集成显著提升了分割质量，尤其在低对比度和噪声图像中表现突出。
• 通过自适应阈值化与模糊滤波实现的眼周区域抑制，减少了假阳性结果，并改善了眼部结构的边界定位。
• 该框架在五个 CASIA 数据集上均表现出一致的性能，验证了其在真实世界生物识别应用中的泛化能力。