[论文解读] Iris-SAM: Iris Segmentation Using a Foundation Model

Parisa Farmanifard, Arun Ross|arXiv (Cornell University)|Feb 9, 2024

Biometric Identification and Security被引用 5

一句话总结

该论文通过对 Segment Anything Model (SAM) 使用 Focal Loss 进行虹膜分割的微调，在多个虹膜数据集上实现了业界领先的 IoU，并展示了强跨数据集泛化能力。

ABSTRACT

Iris segmentation is a critical component of an iris biometric system and it involves extracting the annular iris region from an ocular image. In this work, we develop a pixel-level iris segmentation model from a foundational model, viz., Segment Anything Model (SAM), that has been successfully used for segmenting arbitrary objects. The primary contribution of this work lies in the integration of different loss functions during the fine-tuning of SAM on ocular images. In particular, the importance of Focal Loss is borne out in the fine-tuning process since it strategically addresses the class imbalance problem (i.e., iris versus non-iris pixels). Experiments on ND-IRIS-0405, CASIA-Iris-Interval-v3, and IIT-Delhi-Iris datasets convey the efficacy of the trained model for the task of iris segmentation. For instance, on the ND-IRIS-0405 dataset, an average segmentation accuracy of 99.58% was achieved, compared to the best baseline performance of 89.75%.

研究动机与目标

• 将虹膜分割确立为实现可靠虹膜识别的关键步骤。
• 通过领域特定微调，利用一个基础模型（SAM）实现高精度虹膜分割。
• 使用 Focal Loss 解决虹膜/非虹膜像素之间的类别不平衡。
• 评估跨数据集的泛化能力以及对睫毛等虹膜特定挑战的鲁棒性。

提出的方法

• 对虹膜图像进行带边界框提示的微调 Segment Anything Model (SAM)。
• 在训练中使用 Focal Loss 解决虹膜/非虹膜像素的类别不平衡。
• 从真值掩码推导边界框并应用随机扰动以提高泛化能力。
• 将 multimask_output 设置为 False，使 SAM 聚焦于单个虹膜掩码。
• 使用 SGD（学习率 0.0001）训练 100 个 epoch，并使用 IoU 等标准指标。
• 与基线虹膜分割方法进行比较，并在不同数据集上分析精确度-召回率。

Figure 1 : Iris anatomy in the near-infrared spectrum.

实验结果

研究问题

• RQ1 是否可以通过领域特定微调将基础分割模型（SAM）有效适配为虹膜分割？
• RQ2 在类别不平衡下，加入 Focal Loss 是否能够提升虹膜分割性能？
• RQ3 Iris-SAM 在 ND-Iris-0405、CASIA-Iris-Interval-v3 和 IIT-Delhi-Iris 之间的跨数据集泛化能力如何？

主要发现

数据集	平均 IoU (%) ± STD
CASIA-Iris-Interval-v3	96.94 ± 0.005
ND-Iris-0405	99.58 ± 0.003
IIT-Delhi-Iris	94.34 ± 0.008

• Iris-SAM 在 CASIA-Iris-Interval-v3 上的平均 IoU 为 96.94%。
• Iris-SAM 在 ND-Iris-0405 上的平均 IoU 为 99.58%。
• Iris-SAM 在 IIT-Delhi-Iris 上的平均 IoU 为 94.34%。
• Focal Loss 在虹膜分割中优于 Dice 和 Triplet 损失。
• gamma 值为 2 在各数据集上提供了稳健的性能。
• 跨数据集泛化分数包括 93.75%（ND-Iris-0405 train → IIT-Delhi-Iris test）和 95.26%（ND-Iris-0405 train → CASIA-Iris-Interval-v3 test）。
• 在某些情况下，某些预测甚至超出真实标签掩码，突显边界勾勒的改进。

Figure 2 : Proposed network (Iris-SAM) using Segment Anything Model (SAM) [ 17 ] . (a) Training and (b) Inference/Testing.