[論文レビュー] Privacy-Preserving Visual Localization with Event Cameras

Junho Kim, Young‐Min Kim+5 more|arXiv (Cornell University)|Dec 4, 2022

Random lasers and scattering media被引用数 4

ひとこと要約

本稿では、低照度や高速運動といった困難な条件下でも頑健なカメラポーズ推定を可能にする、イベントカメラを用いたプライバシー保護型ビジュアルローゼーションシステムを提案する。イベントを画像に変換し、軽量なセンサーレベルおよびネットワークレベルのプライバシー保護フィルタを適用することで、ローカライゼーション精度を維持しながら顔の特徴や全体のシーンビューを効果的に隠蔽する。このため、AR/VRおよび位置ベースのサービスにおける実用的応用に適している。

ABSTRACT

We consider the problem of client-server localization, where edge device users communicate visual data with the service provider for locating oneself against a pre-built 3D map. This localization paradigm is a crucial component for location-based services in AR/VR or mobile applications, as it is not trivial to store large-scale 3D maps and process fast localization on resource-limited edge devices. Nevertheless, conventional client-server localization systems possess numerous challenges in computational efficiency, robustness, and privacy-preservation during data transmission. Our work aims to jointly solve these challenges with a localization pipeline based on event cameras. By using event cameras, our system consumes low energy and maintains small memory bandwidth. Then during localization, we propose applying event-to-image conversion and leverage mature image-based localization, which achieves robustness even in low-light or fast-moving scenes. To further enhance privacy protection, we introduce privacy protection techniques at two levels. Network level protection aims to hide the entire user's view in private scenes using a novel split inference approach, while sensor level protection aims to hide sensitive user details such as faces with light-weight filtering. Both methods involve small client-side computation and localization performance loss, while significantly mitigating the feeling of insecurity as revealed in our user study. We thus project our method to serve as a building block for practical location-based services using event cameras. Project page including the code is available through this link: https://82magnolia.github.io/event\_localization/.

研究の動機と目的

• クライアント・サーバー型ビジュアルローゼーションにおけるプライバシー懸念を解決し、ユーザーがサービスプロバイダーに視覚的情報を共有する際のリスクを軽減すること。
• イベントカメラの高いダイナミックレンジと時間分解能を活用し、低照度や高速運動の状況でも頑健なビジュアルローゼーションを実現すること。
• ローカライゼーション性能を損なわせることなく、センサーレベルおよびネットワークレベルの軽量なプライバシー保護メカニズムを構築すること。
• AR/VRおよびプライベート環境での実用的展開を可能にする、イベントベースのビジュアルローゼーションのための実用的パイプラインを提供すること。

提案手法

• サービスプロバイダー側でイベントから画像への変換を実施し、強力な画像ベースのローカライゼーション手法を活用することで、イベントデータと画像データのドメインギャップに対しても頑健なポーズ推定を実現する。
• 顔の特徴点を明示的に検出せず、軽量なフィルタリング技術によりセンサーレベルのプライバシー保護を実装し、顔の詳細をぼかす。同時に、ローカライゼーションに必要な特徴は保持する。
• ニューラルネットワーク推論を分割するネットワークレベルのプライバシー機構を導入し、中間特徴量をサービスプロバイダー側に留保しつつ、イベントから画像の再構築を不可能にする。
• 二段階の推論パイプラインを採用し、ユーザー側で初期処理を実施し、計算負荷の高い処理はサービスプロバイダーが担当することで、中間表現のオブスカレーションによりプライバシーを確保する。
• イベントカメラが明るさの変化のみをキャプチャするという特性を活かし、視覚的精細度を inherently 低下させ、機微な詳細の露出を制限する。
• 移動する人物、低照度、高速運動を含む多様な条件下での性能評価のため、新たに作成したデータセット（EvRooms と EvHumans）を用いて学習および評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 従来の画像ベース手法が失敗する低照度や高速カメラ運動の状況下でも、イベントカメラが頑健なビジュアルローゼーションを可能にするか？
• RQ2 センサーレベルのフィルタリングは、ローカライゼーション精度を著しく低下させることなく、どれほど顔の詳細を隠蔽できるか？
• RQ3 ネットワークレベルのプライバシー機構により、イベントから画像の再構築を防げるか、かつローカライゼーション性能を維持できるか？
• RQ4 ユーザーは、イベントベースのビジュアルローゼーションシステムにおいて、顔やシーンレベルの詳細がどれほどプライベートに保たれていると感じているか？
• RQ5 実世界のイベントベースのシナリオにおいて、プライバシー保護とローカライゼーション精度のトレードオフはどの程度か？

主な発見

• 提案されたイベントベースのローカライゼーションパイプラインは、低照度や高速運動の状況でも頑健な性能を達成し、これらの条件下では従来の画像ベース手法を上回る。
• センサーレベルのプライバシー保護フィルタは、顔の詳細を効果的に隠蔽しつつ、ユーザー調査および定性的な結果により、ローカライゼーション精度にわずかな低下しか引き起こさない。
• ネットワークレベルのプライバシー保護は、標的的な再トレーニング攻撃に対しても画像再構築を防止でき、プライバシー漏洩に対する強い耐性を示した。
• ユーザー調査の結果、ユーザーは顔の特徴が隠され、全体のシーンがぼかされた状況で、プライバシー保護に対して強い信頼を寄せていた。
• 本手法は、ローカライゼーション精度の低下が5%未満に抑えられ、顕著なプライバシーの向上が得られるため、実世界への展開に適している。
• 著者らは、困難な条件下でのイベントベースのビジュアルローゼーション研究を支援するため、EvRooms および EvHumans の2つの新しいデータセットを収集・部分公開した。