[논문 리뷰] Privacy-Preserving Visual Localization with Event Cameras

Junho Kim, Young‐Min Kim외 5명|arXiv (Cornell University)|2022. 12. 04.

Random lasers and scattering media인용 수 4

한 줄 요약

이 논문은 저조도 및 빠른 운동 조건과 같은 도전적인 환경에서도 강력한 카메라 자세 추정이 가능한 이벤트 카메라를 사용한 프라이버시 보장형 시각적 현장 정위 시스템을 제안한다. 이벤트를 이미지로 변환하고 경량의 센서 및 네트워크 수준의 프라이버시 필터를 적용하여, 정위치 정확도를 유지하면서도 얼굴 세부 정보와 전체 장면 시각을 효과적으로 은폐함으로써, 실용적인 AR/VR 및 위치 기반 서비스에 적합하다.

ABSTRACT

We consider the problem of client-server localization, where edge device users communicate visual data with the service provider for locating oneself against a pre-built 3D map. This localization paradigm is a crucial component for location-based services in AR/VR or mobile applications, as it is not trivial to store large-scale 3D maps and process fast localization on resource-limited edge devices. Nevertheless, conventional client-server localization systems possess numerous challenges in computational efficiency, robustness, and privacy-preservation during data transmission. Our work aims to jointly solve these challenges with a localization pipeline based on event cameras. By using event cameras, our system consumes low energy and maintains small memory bandwidth. Then during localization, we propose applying event-to-image conversion and leverage mature image-based localization, which achieves robustness even in low-light or fast-moving scenes. To further enhance privacy protection, we introduce privacy protection techniques at two levels. Network level protection aims to hide the entire user's view in private scenes using a novel split inference approach, while sensor level protection aims to hide sensitive user details such as faces with light-weight filtering. Both methods involve small client-side computation and localization performance loss, while significantly mitigating the feeling of insecurity as revealed in our user study. We thus project our method to serve as a building block for practical location-based services using event cameras. Project page including the code is available through this link: https://82magnolia.github.io/event\_localization/.

연구 동기 및 목표

• 사용자가 서비스 제공자에게 시각 데이터를 공유하는 클라이언트-서버 시각적 현장 정위 환경에서의 프라이버시 우려를 해결한다.
• 이벤트 카메라의 높은 동적 범위와 시간 해상도를 활용하여 저조도 및 빠른 운동 상황에서도 강력한 시각적 현장 정위를 가능하게 한다.
• 정위치 성능을 훼손하지 않으면서도 민감한 시각 정보를 보호하기 위해 센서 및 네트워크 수준에서 경량의 프라이버시 보장 메커니즘을 개발한다.
• AR/VR 및 비공개 환경에서의 실질적 구현을 지원하는 이벤트 기반 시각적 현장 정위를 위한 실용적인 파이프라인을 제공한다.

제안 방법

• 이벤트 기반 정위치 방법의 성능을 향상시키기 위해 서비스 제공자 측에서 이벤트를 이미지로 변환함으로써, 이벤트 데이터와 이미지 데이터 간의 도메인 갭에도 불구하고 강력한 자세 추정이 가능하도록 한다.
• 얼굴 랜드마크를 명시적으로 탐지하지 않고도 얼굴 세부 정보를 흐리게 하는 경량 필터링 기법을 통해 센서 수준의 프라이버시 보호를 구현한다. 이는 정위치에 필요한 핵심 특징을 유지한다.
• 중간 특징을 서비스 제공자 측에 유지하면서 이벤트 데이터로부터 이미지 복원을 방지하는 네트워크 수준의 프라이버시 메커니즘을 도입한다.
• 사용자가 초기 처리를 수행하고 서비스 제공자가 계산 비용이 큰 단계를 처리하는 이중 단계 추론 파이프라인을 사용하여, 중간 표현의 가림을 통해 프라이버시를 보장한다.
• 빛의 강도 변화만 기록하는 이벤트 카메라 데이터를 활용함으로써 본질적으로 시각의 해상도를 낮추고 민감한 세부 정보 폭로를 제한한다.
• 이동 중인 사람, 저조도, 빠른 운동 등의 다양한 조건을 평가하기 위해 새로운 데이터셋(EvRooms 및 EvHumans)을 수집하고 평가한다.

실험 결과

연구 질문

• RQ1 기존의 이미지 기반 방법이 실패하는 저조도 및 빠른 카메라 운동 조건에서 이벤트 카메라가 강력한 시각적 현장 정위를 가능하게 할 수 있는가?
• RQ2 센서 수준의 필터링을 통해 얼굴 세부 정보를 얼마나 효과적으로 은폐할 수 있으며, 이로 인해 정위치 정확도가 얼마나 떨어지는가?
• RQ3 이벤트 데이터로부터 이미지를 복원하는 것을 방지하면서도 정위치 성능을 유지할 수 있는 네트워크 수준의 프라이버시 메커니즘은 가능한가?
• RQ4 사용자는 이벤트 기반 시각적 현장 정위 시스템에서 얼굴 및 장면 수준의 세부 정보 프라이버시를 어떻게 인식하는가?
• RQ5 실제 이벤트 기반 상황에서 프라이버시 보호와 정위치 정확도 사이의 성능 트레이드오프는 어떠한가?

주요 결과

• 제안된 이벤트 기반 정위치 파이프라인은 저조도 및 빠른 운동 조건에서도 강력한 성능을 보이며, 이러한 조건에서 기존의 이미지 기반 방법보다 뛰어난 성능을 나타낸다.
• 센서 수준의 프라이버시 필터링은 정위치 정확도에 미미한 성능 저하만을 초래하면서도 효과적으로 얼굴 세부 정보를 은폐한다. 이는 사용자 연구 및 정성적 결과로 검증되었다.
• 네트워크 수준의 프라이버시 보호는 목표 재학습 공격 조건에서도 이미지 복원을 성공적으로 방지하여, 프라이버시 泄露에 대한 강력한 저항성을 입증했다.
• 사용자 연구 결과에 따르면 사용자들은 프라이버시 보호에 대해 높은 신뢰를 보였으며, 대부분의 참가자들이 개인 공간에서 얼굴 세부 정보가 숨겨지고 전체 장면 시각이 은폐된 것으로 느끼며 안전하다고 보고했다.
• 이 방법은 정위치 정확도의 5% 미만의 성능 저하만을 초래하면서도 상당한 프라이버시 이점을 달성하여, 실질적인 실내 구현에 적합하다.
• 저자들은 향후 이벤트 기반 시각적 현장 정위 연구를 지원하기 위해 새로운 데이터셋인 EvRooms 및 EvHumans를 수집하고 부분적으로 공개하였다.