[论文解读] Enable Portrait Privacy Protection in Photo Capturing and Sharing

Lan Zhang, Kebin Liu+4 more|arXiv (Cornell University)|Oct 24, 2014

Face recognition and analysis参考文献 8被引用 3

一句话总结

本文提出 InvisibleMe，一种隐私保护协议，可基于用户的显式隐私偏好自动从照片中移除肖像。该协议采用轻量级、隐私保护的向量匹配方案，无需暴露面部数据即可将隐私请求与图像中的人物关联，实测中实现95.1%的准确率和亚秒级匹配时间。

ABSTRACT

The wide adoption of wearable smart devices with onboard cameras greatly increases people's concern on privacy infringement. Here we explore the possibility of easing persons from photos captured by smart devices according to their privacy protection requirements. To make this work, we need to address two challenges: 1) how to let users explicitly express their privacy protection intention, and 2) how to associate the privacy requirements with persons in captured photos accurately and efficiently. Furthermore, the association process itself should not cause portrait information leakage and should be accomplished in a privacy-preserving way. In this work, we design, develop, and evaluate a protocol, that enables a user to flexibly express her privacy requirement and empowers the photo service provider (or image taker) to exert the privacy protection policy.Leveraging the visual distinguishability of people in the field-of-view and the dimension-order-independent property of vector similarity measurement, we achieves high accuracy and low overhead. We implement a prototype system, and our evaluation results on both the trace-driven and real-life experiments confirm the feasibility and efficiency of our system.

研究动机与目标

• 解决由于无处不在的智能摄像头和可穿戴设备（如智能眼镜）导致的隐私侵犯日益加剧的问题。
• 使用户能够在不使用可见标记的情况下表达隐私偏好，确保视觉美观性和实际可用性。
• 在防止肖像信息泄露的前提下，精确且高效地将隐私请求与捕获照片中的人物关联。
• 设计一种在移动设备和不受信任的云服务器上运行时计算和通信开销极小的透明系统。
• 同时支持自动肖像移除和对照片中人物的隐私保护标记。

提出的方法

• 将用户的隐私偏好编码为嵌入其外貌中的视觉特征，实现意图的隐形表达。
• 使用与维度顺序无关的向量相似性度量方法，将隐私请求向量与图像区域匹配，而无需暴露面部细节。
• 通过隐私保护协议将复杂的匹配计算外包给不受信任的云服务器，防止信息泄露。
• 实现两阶段协议：InvisibleMe-Basic 用于基线性能，InvisibleMe-Advanced 用于通过哈希特征向量优化速度。
• 利用安全多方计算原理，实现在客户端与云之间非交互式、私密的向量距离计算。
• 设计支持三种威胁模型的系统模型：传输过程中的隐私泄露、匹配过程中的暴露，以及图像数据的未授权访问。

实验结果

研究问题

• RQ1 用户如何在照片拍摄过程中以非侵入性、隐形且灵活的方式表达其肖像隐私偏好？
• RQ2 系统如何在不暴露面部数据的前提下，精确且高效地将隐私请求与捕获图像中的人物关联？
• RQ3 哪些机制可确保匹配过程本身不会向不受信任的各方泄露肖像信息？
• RQ4 系统如何在确保隐私的前提下，保持移动设备上极低的计算和通信开销？
• RQ5 在真实场景中，所提出的隐私保护匹配协议在性能与准确率之间存在怎样的权衡？

主要发现

• 当照片中存在隐形用户时，系统误报率为0.9%，漏报率为1.4%。
• 当不存在隐形用户时，误报率上升至4.9%，这是由于缺乏真实匹配，表明需要更高阈值调优。
• 肖像图传输延迟可忽略不计，约为0.01–0.04秒，系统总计算延迟约为4秒（客户端3秒，云服务器1秒）。
• 在优化的 InvisibleMe-Advanced 变体中，匹配成本仅为0.01秒，显著快于基于 Paillier 的方法（每次匹配需1.8秒）。
• 协议的功耗极低，仅约几秒，远低于照片捕获本身的功耗成本。
• 该协议同时支持自动肖像移除和隐私保护标记，并提供移除完整性的验证。