[論文レビュー] Conservative Plane Releasing for Spatial Privacy Protection in Mixed Reality

Jaybie A. De Guzman, Kanchana Thilakarathna+1 more|arXiv (Cornell University)|Apr 17, 2020

Privacy-Preserving Technologies in Data参考文献 39被引用数 6

ひとこと要約

本稿では、3次元点群データを抽象的な平面に一般化することで、空間プライバシーを保護する保守的な平面解放手法を提案している。1.0m未満の半径を持つ平面を11個以下に制限して解放することで、攻撃者がユーザーの位置を特定する確率を半数未塔に抑える一方で、データの有用性を維持している。

ABSTRACT

Augmented reality (AR) or mixed reality (MR) platforms require spatial understanding to detect objects or surfaces, often including their structural (i.e. spatial geometry) and photometric (e.g. color, and texture) attributes, to allow applications to place virtual or synthetic objects seemingly "anchored" on to real world objects; in some cases, even allowing interactions between the physical and virtual objects. These functionalities require AR/MR platforms to capture the 3D spatial information with high resolution and frequency; however, these pose unprecedented risks to user privacy. Aside from objects being detected, spatial information also reveals the location of the user with high specificity, e.g. in which part of the house the user is. In this work, we propose to leverage spatial generalizations coupled with conservative releasing to provide spatial privacy while maintaining data utility. We designed an adversary that builds up on existing place and shape recognition methods over 3D data as attackers to which the proposed spatial privacy approach can be evaluated against. Then, we simulate user movement within spaces which reveals more of their space as they move around utilizing 3D point clouds collected from Microsoft HoloLens. Results show that revealing no more than 11 generalized planes--accumulated from successively revealed spaces with large enough radius, i.e. $r\leq1.0m$--can make an adversary fail in identifying the spatial location of the user for at least half of the time. Furthermore, if the accumulated spaces are of smaller radius, i.e. each successively revealed space is $r\leq 0.5m$, we can release up to 29 generalized planes while enjoying both better data utility and privacy.

研究の動機と目的

• 高解像度の3次元空間マップを露呈する混合現実プラットフォームにおける空間プライバシー保護メカニズムの不足に対処すること。
• ユーザーの位置や移動パターンを特定できる3次元空間データに起因するプライバシーリスクを軽減すること。
• AR/MRアプリケーションに適したデータ有用性を維持しつつ、プライバシーを保護するメカニズムを設計すること。
• 3次元空間認識技術を用いた現実的な攻撃者による推論攻撃に対して、空間一般化の有効性を評価すること。

提案手法

• 詳細な3次元点群を一般化された平面に変換する空間一般化を用い、空間分解能とプライバシー漏洩を低減する。
• 2段階の攻撃者モデルを採用する：空間間推論（一般化された部屋の特定）と空間内推論（部屋内でのユーザーの局所化）。
• 空間間推論のため、NNDR（最近接距離比）フィルタリングを施した記述子マッチングベースの3次元オブジェクト認識器を用い、クエリ特徴量とリファレンス空間を照合する。
• 空間内推論のため、L2正規化されたエッジ距離と一致するキーポイントペア間の内部角コサイン類似度を用いたグラフベースの類似度測定を適用する。
• 最良のリファレンス空間を特定するために、組み合わせ類似度スコア S = S_d × S_φ を計算する。ここで S_d は距離類似度、S_φ は角度類似度を表す。
• 最終的なプライバシー保護メカニズムとして、一般化された平面のみを公開し、保守的なしきい値（例：r ≤ 1.0m または r ≤ 0.5m）を設定して、有用性とプライバシーのバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 保守的な平面解放は、攻撃者がユーザーの一般的な空間的位置（空間間推論）を特定するのをどれほど効果的に防げるか？
• RQ2 空間一般化は、混合現実環境においてユーザーのプライバシーを保護しつつ、どの程度データ有用性を維持できるか？
• RQ3 公開される空間の半径（r ≤ 1.0m 対 r ≤ 0.5m）が、安全に公開可能な一般化平面の数に与える影響はいかほどか？
• RQ4 攻撃者がユーザーの位置を50%以上の確率で正しく特定できるようになるまでに、公開可能な一般化平面の最大数はどれくらいか？
• RQ5 特徴ベースと幾何的類似度測定の両方が、攻撃者による空間推論に対してどれほど耐性を示すか？

主な発見

• 半径 ≤1.0m の一般化平面を11個以下に制限して公開することで、攻撃者のユーザー空間位置特定成功率は50%未塔に低下する。
• 各公開空間の半径を ≤0.5m に縮小した場合、高精度なデータ有用性と強力なプライバシー保護を両立させながら、最大29個の一般化平面を安全に公開できる。
• NNDRフィルタリングを施した記述子マッチングと、L2正規化されたエッジおよび内部角のコサイン類似度を組み合わせた幾何的類似度測定により、攻撃者は空間間および空間内推論を効果的に検出できる。
• 本手法は、歴史的3次元データでトレーニングされた高度な3次元認識技術を用いても、攻撃者の空間推論能力を効果的に制限する。
• 保守的な一般化による平面解放は、混合現実プラットフォームにおける実用的で効果的なプライバシー保護メカニズムであると示された。
• 特に、公開プロセスにおいて小さな空間半径を用いることで、データ有用性と空間プライバシーの実用的バランスが達成される。