[论文解读] Conservative Plane Releasing for Spatial Privacy Protection in Mixed Reality

Jaybie A. De Guzman, Kanchana Thilakarathna+1 more|arXiv (Cornell University)|Apr 17, 2020

Privacy-Preserving Technologies in Data参考文献 39被引用 6

一句话总结

本文提出了一种保守的平面释放机制，通过将3D点云数据泛化为抽象平面，以保护混合现实中的空间隐私，降低用户位置推断的风险。通过释放不超过11个半径≤1.0m的泛化平面，该方法可使攻击者在超过一半时间内无法识别用户位置，同时保持数据可用性。

ABSTRACT

Augmented reality (AR) or mixed reality (MR) platforms require spatial understanding to detect objects or surfaces, often including their structural (i.e. spatial geometry) and photometric (e.g. color, and texture) attributes, to allow applications to place virtual or synthetic objects seemingly "anchored" on to real world objects; in some cases, even allowing interactions between the physical and virtual objects. These functionalities require AR/MR platforms to capture the 3D spatial information with high resolution and frequency; however, these pose unprecedented risks to user privacy. Aside from objects being detected, spatial information also reveals the location of the user with high specificity, e.g. in which part of the house the user is. In this work, we propose to leverage spatial generalizations coupled with conservative releasing to provide spatial privacy while maintaining data utility. We designed an adversary that builds up on existing place and shape recognition methods over 3D data as attackers to which the proposed spatial privacy approach can be evaluated against. Then, we simulate user movement within spaces which reveals more of their space as they move around utilizing 3D point clouds collected from Microsoft HoloLens. Results show that revealing no more than 11 generalized planes--accumulated from successively revealed spaces with large enough radius, i.e. $r\leq1.0m$--can make an adversary fail in identifying the spatial location of the user for at least half of the time. Furthermore, if the accumulated spaces are of smaller radius, i.e. each successively revealed space is $r\leq 0.5m$, we can release up to 29 generalized planes while enjoying both better data utility and privacy.

研究动机与目标

• 解决混合现实平台缺乏空间隐私机制的问题，这些平台会暴露高分辨率的3D空间地图。
• 减轻3D空间数据可能暴露用户位置和移动模式所带来的隐私风险。
• 设计一种保护隐私的机制，同时保持AR/MR应用所需的数据可用性。
• 评估空间泛化在面对使用3D场景和形状识别技术的真实攻击者推断攻击时的有效性。

提出的方法

• 该方法使用空间泛化将详细的3D点云转换为泛化平面，降低空间分辨率并减少隐私泄露。
• 采用两阶段攻击者模型：跨空间推断（识别用户所在的房间类型）和同空间推断（在房间内定位用户）。
• 对于跨空间推断，使用基于描述符匹配的3D物体识别器，并结合NNDR（最近邻距离比）过滤，将查询特征与参考空间匹配。
• 对于同空间推断，采用基于图的相似性度量方法，利用L2范数化的边距离和匹配关键点对之间的内角余弦相似性。
• 系统计算综合相似性得分 S = S_d × S_φ，其中 S_d 为距离相似性，S_φ 为角度相似性，以识别最佳匹配的参考空间。
• 最终的隐私保护机制仅释放泛化平面，并采用保守阈值（如 r ≤ 1.0m 或 r ≤ 0.5m），以在数据可用性与隐私保护之间取得平衡。

实验结果

研究问题

• RQ1 保守的平面释放机制在防止攻击者识别用户一般空间位置（跨空间推断）方面的有效性如何？
• RQ2 空间泛化在保护用户隐私的同时，能在多大程度上保持数据可用性？
• RQ3 释放空间的半径（r ≤ 1.0m 与 r ≤ 0.5m）如何影响可安全释放的泛化平面数量？
• RQ4 在攻击者成功推断用户位置超过50%的时间之前，最多可以释放多少个泛化平面？
• RQ5 基于特征的相似性与几何相似性度量在抵御对抗性空间推断方面有何贡献？

主要发现

• 释放不超过11个泛化平面，且每个平面半径≤1.0m时，可使攻击者识别用户空间位置的成功率降低至50%以下。
• 当每个释放空间的半径减小至≤0.5m时，最多可安全释放29个泛化平面，同时保持高数据可用性与强隐私保护。
• 结合描述符匹配与NNDR过滤，以及基于L2范数边距和内角的几何相似性，可有效支持攻击者对跨空间与同空间推断的检测。
• 所提方法能有效限制攻击者使用先进3D识别技术（基于历史3D数据训练）进行空间推断的能力。
• 结果表明，通过空间泛化实现的保守释放是一种可行且有效的混合现实平台隐私保护机制。
• 该方法在使用较小空间半径进行释放时，能实现数据可用性与空间隐私之间的实用平衡。