[논문 리뷰] Conservative Plane Releasing for Spatial Privacy Protection in Mixed Reality

Jaybie A. De Guzman, Kanchana Thilakarathna외 1명|arXiv (Cornell University)|2020. 04. 17.

Privacy-Preserving Technologies in Data참고 문헌 39인용 수 6

한 줄 요약

이 논문은 3차원 점군 데이터를 추상적 평면으로 일반화하여 공간 프라이버시를 보호하는 보수적인 평면 공개 기법을 제안한다. 이는 사용자 위치 추론 위험을 줄이는 데 기여하며, 반경 ≤1.0m인 평면을 11개 이하로 공개함으로써 악성 공격자가 사용자 위치를 특정하는 데 성공할 확률을 50% 이하로 낮춘다. 이와 동시에 데이터 유용성도 유지한다.

ABSTRACT

Augmented reality (AR) or mixed reality (MR) platforms require spatial understanding to detect objects or surfaces, often including their structural (i.e. spatial geometry) and photometric (e.g. color, and texture) attributes, to allow applications to place virtual or synthetic objects seemingly "anchored" on to real world objects; in some cases, even allowing interactions between the physical and virtual objects. These functionalities require AR/MR platforms to capture the 3D spatial information with high resolution and frequency; however, these pose unprecedented risks to user privacy. Aside from objects being detected, spatial information also reveals the location of the user with high specificity, e.g. in which part of the house the user is. In this work, we propose to leverage spatial generalizations coupled with conservative releasing to provide spatial privacy while maintaining data utility. We designed an adversary that builds up on existing place and shape recognition methods over 3D data as attackers to which the proposed spatial privacy approach can be evaluated against. Then, we simulate user movement within spaces which reveals more of their space as they move around utilizing 3D point clouds collected from Microsoft HoloLens. Results show that revealing no more than 11 generalized planes--accumulated from successively revealed spaces with large enough radius, i.e. $r\leq1.0m$--can make an adversary fail in identifying the spatial location of the user for at least half of the time. Furthermore, if the accumulated spaces are of smaller radius, i.e. each successively revealed space is $r\leq 0.5m$, we can release up to 29 generalized planes while enjoying both better data utility and privacy.

연구 동기 및 목표

• 고해상도 3차원 공간 지ap을 노출하는 혼합현실 플랫폼에서 공간 프라이버시 메커니즘이 부족한 문제를 해결하기 위해.
• 사용자 위치 및 이동 패턴을 드러낼 수 있는 3차원 공간 데이터로 인한 프라이버시 위험을 완화하기 위해.
• AR/MR 애플리케이션을 위한 데이터 유용성을 유지하면서도 프라이버시를 보호하는 메커니즘을 설계하기 위해.
• 3D 장소 및 형태 인식 기술을 활용한 현실적인 악성 공격에 대한 공간 일반화의 효과를 평가하기 위해.

제안 방법

• 이 방법은 세부적인 3차원 점군을 일반화된 평면으로 변환함으로써 공간 해상도를 낮추고 프라이버시 泄露를 줄이는 공간 일반화 기법을 사용한다.
• 이중 단계의 악성 공격자 모델을 적용한다: 공간 간 추론(일반적인 방 식별)과 공간 내 추론(방 내부에서 사용자 위치 특정)이다.
• 공간 간 추론을 위해, NNDR(최근접 이웃 거리 비율) 필터링을 적용한 기술자 기반 3차원 객체 인식기와 함께, 쿼리 특징을 기준 공간에 매칭한다.
• 공간 내 추론을 위해, L2-노름화된 간선 거리와 매칭된 关键점 쌍 간의 내부 각余弦 유사도를 활용한 그래프 기반 유사도 측정법을 적용한다.
• 시스템은 복합 유사도 점수 S = S_d × S_φ를 계산하며, 여기서 S_d는 거리 유사도, S_φ는 각도 유사도이다. 이를 통해 최적의 기준 공간을 식별한다.
• 최종적으로 프라이버시 보호 메커니즘은 일반화된 평면만을 공개하며, 보수적인 임계값(예: r ≤ 1.0m 또는 r ≤ 0.5m)을 적용하여 유용성과 프라이버시의 균형을 확보한다.

실험 결과

연구 질문

• RQ1 보수적인 평면 공개 기법이 악성 공격자가 사용자 일반적 공간 위치(공간 간 추론)를 특정하는 데 얼마나 효과적인가?
• RQ2 공간 일반화는 혼합현실 환경에서 사용자 프라이버시를 보호하면서도 데이터 유용성을 얼마나 잘 유지할 수 있는가?
• RQ3 공개된 공간의 반경(r ≤ 1.0m 대비 r ≤ 0.5m)이 안전하게 공개할 수 있는 일반화된 평면의 수에 어떤 영향을 미치는가?
• RQ4 악성 공격자가 사용자 위치를 50% 초과로 성공적으로 특정할 수 있는 최대 일반화된 평면 수는 얼마인가?
• RQ5 특징 기반 및 기하학적 유사도 측정법은 악성 공간 추론에 대응하는 데 어떻게 기여하는가?

주요 결과

• 반경 ≤1.0m인 일반화된 평면을 11개 이하로 공개할 경우, 악성 공격자의 사용자 공간 위치 특정 성공률가 50% 이하로 낮아진다.
• 각 공개된 공간의 반경을 ≤0.5m로 줄일 경우, 높은 데이터 유용성과 강력한 프라이버시 보호를 유지하면서 최대 29개의 일반화된 평면을 안전하게 공개할 수 있다.
• 기술자 매칭에 NNDR 필터링을 결합하고, 기하학적 유사도(즉, L2-노름화된 간선과 내부 각도)를 활용함으로써, 악성 공격자는 공간 간 및 공간 내 추론을 효과적으로 탐지할 수 있다.
• 제안된 방법은 역사적 3차원 데이터로 훈련된 고급 3차원 인식 기술을 사용하는 경우에도 악성 공격자의 공간 추론 능력을 효과적으로 제한한다.
• 결과적으로 보수적인 일반화 기반 평면 공개 기법은 혼합현실 플랫폼에 실용적이고 효과적인 프라이버시 보호 메커니즘이 되는 것으로 입증된다.
• 특히 작은 공간 반경을 공개 과정에 적용할 경우, 데이터 유용성과 공간 프라이버시 사이의 실용적 균형을 달성한다.