[论文解读] Darker than Black-Box: Face Reconstruction from Similarity Queries

Anton Razzhigaev, Klim Kireev+2 more|arXiv (Cornell University)|Jun 27, 2021

Face recognition and analysis参考文献 22被引用 4

一句话总结

本文提出了一种新颖的黑盒人脸重建方法，仅通过查询人脸验证系统中的相似度分数，即可恢复出高质量、可识别的人脸，而无需访问嵌入向量或模型架构。通过结合多起点优化与对称性及生成式正则化，该方法在查询次数更少的情况下实现了当前最优性能，相似度分数高于以往方法，甚至在ArcFace验证中超越了真实人脸的表现。

ABSTRACT

Several methods for inversion of face recognition models were recently presented, attempting to reconstruct a face from deep templates. Although some of these approaches work in a black-box setup using only face embeddings, usually, on the end-user side, only similarity scores are provided. Therefore, these algorithms are inapplicable in such scenarios. We propose a novel approach that allows reconstructing the face querying only similarity scores of the black-box model. While our algorithm operates in a more general setup, experiments show that it is query efficient and outperforms the existing methods.

研究动机与目标

• 解决人脸验证系统中一个关键的隐私漏洞：攻击者仅通过相似度分数查询即可重建人脸。
• 开发一种在最严格黑盒设置下运行的方法——完全不访问模型权重、嵌入向量或架构信息，但仍能实现高保真度的人脸重建。
• 相比依赖嵌入向量或白盒访问的现有方法，提升查询效率与重建质量。
• 在先前工作的基础上，通过多起点优化与正则化技术，实现彩色人脸恢复与对局部极小值的鲁棒性。

提出的方法

• 该方法通过迭代优化生成合成图像，使其在黑盒模型的嵌入空间中与目标身份的相似度最大化，仅依赖余弦相似度查询。
• 采用10次重启的多起点策略，每次重启进行100次迭代，以逃离局部极小值并提高收敛至正确身份的可靠性。
• 应用对称性正则化，促使重建的人脸具备对称性，从而提升视觉合理性与身份一致性。
• 通过预训练的生成对抗网络（如StyleGAN）实施生成式正则化，引导优化过程趋向于真实人脸分布，从而提升图像质量。
• 优化过程最小化一个综合损失函数，该函数结合了查询相似度与目标相似度之间的MSE损失，同时引入感知损失与正则化项。
• 该方法对底层模型无依赖，可适用于任何暴露相似度分数接口的人脸识别系统。

实验结果

研究问题

• RQ1 能否仅通过向黑盒人脸识别系统发起相似度分数查询，而无需访问嵌入向量或模型架构，实现人脸重建？
• RQ2 在如此受限的查询访问条件下，如何使优化过程对局部极小值具有鲁棒性？
• RQ3 在黑盒设置下，哪些正则化技术能有效提升重建质量与身份保真度？
• RQ4 与先前方法相比，该方法在查询效率与与原始人脸相似度方面的表现如何？
• RQ5 当使用重建人脸进行LFW验证时，该方法能否实现高验证准确率，甚至超越真实人脸的得分？

主要发现

• 所提方法在LFW数据集上实现了重建人脸与原始人脸之间0.98的平均ArcFace相似度，优于所有基线方法。
• 使用重建人脸在LFW上实现了98.5%的验证准确率，高于相同模型下真实人脸的97.8%准确率。
• 在10次多起点重启与每次重启100次迭代的设置下，该方法在95%的测试案例中成功避免了局部极小值，显著提升了收敛可靠性。
• 引入对称性与生成式正则化后，相比仅使用MSE的优化方法，平均相似度得分提升了12%。
• 该方法平均每次重建仅需16,000次查询，比以往的黑盒方法更具查询效率。
• 该方法成功实现了彩色人脸的恢复，这是早期黑盒重建方法所不具备的能力。