[论文解读] Iris-GAN: Learning to Generate Realistic Iris Images Using Convolutional GAN

Shervin Minaee, AmirAli Abdolrashidi|arXiv (Cornell University)|Dec 12, 2018

Biometric Identification and Security参考文献 25被引用 30

一句话总结

本文提出Iris-GAN，一种深度卷积生成对抗网络（DC-GAN）框架，通过建模真实虹膜数据的复杂纹理分布，学习生成高度逼真的虹膜图像。在CASIA-1000和IIT Delhi虹膜数据库上进行训练，模型在FID指标上分别取得42.1和41.08的最先进水平，表明生成样本具有极高的图像质量和多样性。

ABSTRACT

Generating iris images which look realistic is both an interesting and challenging problem. Most of the classical statistical models are not powerful enough to capture the complicated texture representation in iris images, and therefore fail to generate iris images which look realistic. In this work, we present a machine learning framework based on generative adversarial network (GAN), which is able to generate iris images sampled from a prior distribution (learned from a set of training images). We apply this framework to two popular iris databases, and generate images which look very realistic, and similar to the image distribution in those databases. Through experimental results, we show that the generated iris images have a good diversity, and are able to capture different part of the prior distribution.

研究动机与目标

• 为解决生成能捕捉真实虹膜图案中复杂纹理与结构变异的逼真虹膜图像的挑战。
• 克服经典统计模型与手工特征方法的局限性，这些方法无法有效建模虹膜纹理的复杂细节。
• 开发一种基于深度学习的生成框架，能够从真实数据集中学习虹膜图像的潜在数据分布。
• 使用Frechet Inception Distance（FID）等定量指标评估生成虹膜图像的质量与多样性。

提出的方法

• 采用包含五层卷积层、批量归一化和Leaky ReLU激活函数的深度卷积生成对抗网络（DC-GAN）架构，生成器与判别器均采用该结构。
• 训练生成器将标准高斯先验分布的随机噪声向量映射为逼真的虹膜图像，同时判别器负责区分真实样本与生成样本。
• 使用最小最大损失函数优化GAN：$\mathcal{L}_{GAN} = \mathbb{E}_{x\sim p_{data}(x)}[\log D(x)] + \mathbb{E}_{z\sim p_z(z)}[\log(1 - D(G(z)))]$。
• 利用Inception-v3网络的pool3层（2048维特征）计算FID分数，对生成图像的质量与分布相似性进行定量评估。
• 在两个基准虹膜数据集上分别训练独立模型：CASIA-1000（200名受试者）和IIT Delhi（224名受试者），采用标准DC-GAN训练流程。
• 通过在多个训练周期中使用相同的潜在噪声向量生成图像，可视化训练过程的进展，以评估图像质量的演变。

实验结果

研究问题

• RQ1 DC-GAN框架能否有效学习并生成在视觉上与真实虹膜图像无法区分的逼真虹膜图像？
• RQ2 该模型在多大程度上能够捕捉虹膜纹理的多样性，包括瞳孔大小、睫毛位置和角膜反光等变化？
• RQ3 通过FID衡量，生成分布与真实虹膜数据分布的匹配程度如何？
• RQ4 模型性能是否随训练周期稳定提升？其能否从不同潜在向量生成多样化样本？
• RQ5 该模型是否具备跨不同虹膜数据库的泛化能力，并在无需微调的情况下保持高质量生成？

主要发现

• 所提出的Iris-GAN模型成功生成了在视觉上逼真、与CASIA-1000和IIT Delhi数据库中真实图像高度相似的虹膜图像。
• 在IIT Delhi数据集上，模型取得41.08的Frechet Inception Distance（FID）分数，在CASIA-1000数据集上为42.1，表明与真实数据分布具有极强的相似性。
• 即使从同一潜在向量随时间采样，生成图像在瞳孔大小、睫毛位置和角膜反光等特征上也表现出高度多样性。
• 训练周期中的进展显示持续改进，随着训练推进，生成图像变得愈发逼真且细节更丰富。
• 判别器与生成器的损失曲线随时间趋于稳定，表明尽管虹膜纹理复杂，训练动力学仍保持有效。
• 模型生成高质量、多样化样本的能力表明其对虹膜图案潜在数据流形具有强大的泛化能力与学习能力。