[论文解读] Face Image Reconstruction from Deep Templates.

Guangcan Mai, Kai Cao+2 more|arXiv (Cornell University)|Mar 2, 2017

Face recognition and analysis被引用 11

一句话总结

本文提出NbNet，一种邻近去卷积神经网络，可在不了解目标主体或网络架构的前提下，从深度人脸模板重建出高质量的人脸图像。在LFW数据集上，于类型-I攻击下，其1%假接受率（FAR）时的真实接受率（TAR）达到95.20%，揭示了当前最先进的人脸识别系统存在显著安全漏洞。

ABSTRACT

State-of-the-art face recognition systems are based on deep (convolutional) neural networks. Therefore, it is imperative to determine to what extent face templates derived from deep networks can be inverted to obtain the original face image. In this paper, we study the vulnerabilities of a state-of-the-art face recognition system based on template reconstruction attack. We propose a neighborly de-convolutional neural network ( extit{NbNet}) to reconstruct face images from their deep templates. In our experiments, we assumed that no knowledge about the target subject and the deep network are available. To train the extit{NbNet} reconstruction models, we augmented two benchmark face datasets (VGG-Face and Multi-PIE) with a large collection of images synthesized using a face generator. The proposed reconstruction was evaluated using type-I (comparing the reconstructed images against the original face images used to generate the deep template) and type-II (comparing the reconstructed images against a different face image of the same subject) attacks. Given the images reconstructed from extit{NbNets}, we show that for verification, we achieve TAR of 95.20\% (58.05\%) on LFW under type-I (type-II) attacks @ FAR of 0.1\%. Besides, 96.58\% (92.84\%) of the images reconstruction from templates of partition extit{fa} ( extit{fb}) can be identified from partition extit{fa} in color FERET. Our study demonstrates the need to secure deep templates in face recognition systems.

研究动机与目标

• 探究最先进的面部识别系统生成的深度人脸模板是否可被逆向重建为原始人脸图像。
• 在不了解目标主体或底层深度网络的前提下，评估模板重建攻击在现实假设下的可行性。
• 开发一种鲁棒的重建模型，仅依赖有限先验信息，即可从深度模板生成高保真度的人脸图像。
• 通过同人与异人比较，评估模板重建对人脸识别验证性能的实际影响。

提出的方法

• NbNet是一种去卷积神经网络架构，通过学习特征表示的逆映射，将深度人脸模板反演为图像。
• 模型在VGG-Face和Multi-PIE数据集的增强版本上进行训练，同时引入由人脸生成器合成的人脸图像，以提升泛化能力。
• 采用两阶段训练策略：首先，网络通过感知损失和对抗性损失学习从深度特征重建图像，以提升真实感。
• 网络引入邻近特征聚合机制，通过利用邻近块之间的空间相似性和特征相似性，提升重建质量。
• 采用类型-I和类型-II攻击评估重建保真度：类型-I将重建结果与生成模板所用的原始图像进行比较，类型-II则与同一主体的另一张图像进行比较。
• 评估指标包括在LFW和彩色FERET数据集上，固定假接受率（FAR）为0.1%时的真实接受率（TAR）。

实验结果

研究问题

• RQ1 在不了解源网络或主体身份的情况下，能否有效逆向深度人脸模板以重建原始人脸图像？
• RQ2 所提出的NbNet模型在类型-I和类型-II攻击场景下的图像重建性能如何？
• RQ3 从深度模板重建的图像在多大程度上会危及人脸识别系统的安全性？
• RQ4 在使用不同数据集划分时，模板重建对验证性能有何影响？

主要发现

• 所提出的NbNet在LFW数据集上，于类型-I攻击下，FAR为0.1%时的真实接受率（TAR）达到95.20%，表明重建保真度极高。
• 在类型-II攻击下，同一FAR下TAR为58.05%，表明即使与同一主体的其他图像比较，重建图像仍具有高度可识别性。
• 在彩色FERET数据集上，从分区fa生成的模板重建出的96.58%图像可在同一分区中被正确识别，表明具备强大的跨图像识别能力。
• 对于分区fb，92.84%的重建图像可从同一分区中被识别，进一步验证了重建方法在不同数据划分下的鲁棒性。
• 结果证实，即使在缺乏网络或主体先验知识的情况下，深度人脸模板仍易受重建攻击。
• 本研究揭示了当前人脸识别系统中存在关键的安全缺口，强调了防范深度模板逆向攻击的紧迫性。