[論文レビュー] Privacy-Protection Drone Patrol System based on Face Anonymization

Harim Lee, Myeung Un Kim+3 more|arXiv (Cornell University)|May 29, 2020

Face recognition and analysis参考文献 1被引用数 4

ひとこと要約

本論文は、ドローンの補助コンピュータ上でリアルタイムに顔を匿名化するため、変更されたCycleGANとGauGANベースの生成的敵対ネットワーク（GAN）フレームワークを用いたプライバシー保護型ドローンパトロールシステムを提案する。このシステムは、元の顔を視覚的に現実的だが異なるアイデンティティに変換しつつ、ロボットの認識に不可欠な視覚的特徴を保持する。これにより、SLAM性能に悪影響を及げることなく、効果的なプライバシー保護を実現する。

ABSTRACT

The robot market has been growing significantly and is expected to become 1.5 times larger in 2024 than what it was in 2019. Robots have attracted attention of security companies thanks to their mobility. These days, for security robots, unmanned aerial vehicles (UAVs) have quickly emerged by highlighting their advantage: they can even go to any hazardous place that humans cannot access. For UAVs, Drone has been a representative model and has several merits to consist of various sensors such as high-resolution cameras. Therefore, Drone is the most suitable as a mobile surveillance robot. These attractive advantages such as high-resolution cameras and mobility can be a double-edged sword, i.e., privacy infringement. Surveillance drones take videos with high-resolution to fulfill their role, however, those contain a lot of privacy sensitive information. The indiscriminate shooting is a critical issue for those who are very reluctant to be exposed. To tackle the privacy infringement, this work proposes face-anonymizing drone patrol system. In this system, one person's face in a video is transformed into a different face with facial components maintained. To construct our privacy-preserving system, we have adopted the latest generative adversarial networks frameworks and have some modifications on losses of those frameworks. Our face-anonymzing approach is evaluated with various public face-image and video dataset. Moreover, our system is evaluated with a customized drone consisting of a high-resolution camera, a companion computer, and a drone control computer. Finally, we confirm that our system can protect privacy sensitive information with our face-anonymzing algorithm while preserving the performance of robot perception, i.e., simultaneous localization and mapping.

研究の動機と目的

• 高解像度カメラを装備した監視ドローンによるプライバシー侵害の懸念が高まっていることを踏まえ、それに対処すること。
• ドローンの認識能力に悪影響を及げないリアルタイム顔匿名化システムの開発。
• オンボードのディープラーニング推論を用いて、実用的なドローンパトロールシステムにプライバシー保護型ビジョンパイプラインを統合すること。
• システムの有効性を公開データセットおよび実際のドローン映像記録に対して評価すること。
• 顔匿名化が、ORB-SLAM2のようなビジュアルオドメトリと特徴抽出に悪影響を及えないことを保証すること。

提案手法

• 本システムは、ドメイン変換のためのCycleGANと、意味的画像合成のためのGauGANを組み合わせ、顔匿名化のための2段階GANフレームワークを構築する。
• 生成器に変更された損失関数を適用することで、アイデンティティを置き換えつつも顔の構造を保持し、写真的リアリズムとプライバシー保護を両立させる。
• 匿名化パイプラインは、ZEDステレオカメラを搭載したカスタムドローンに搭載されたJetson Xavier補助コンピュータにデプロイされる。
• ROSフレームワークを用いてビデオフレームをリアルタイムに処理し、認識とプライバシー保護のエンドツーエンド統合を実現する。
• 各フレームに対して、検出された顔を新しい非識別的顔に置き換える処理を実行し、空間的および幾何的整合性を維持する。
• ORB-SLAM2を用いて、匿名化がビジュアルオドメトリと特徴抽出に与える影響を評価し、標準的なロボット認識スタックとの互換性を確認する。

実験結果

リサーチクエスチョン

• RQ1 GANベースの顔匿名化システムは、リアルタイムのドローン映像ストリームにおいて、個人のアイデンティティを効果的に保護できるか？
• RQ2 顔匿名化は、ORB-SLAM2のようなビジュアルオドメトリを用いたロボット認識システムの性能に、どの程度影響を及えるか？
• RQ3 CycleGANとGauGANを組み合わせたハイブリッドGANアーキテクチャは、高い品質と構造的忠実性を備えたアイデンティティ保持型顔匿名化を達成できるか？
• RQ4 本システムは、多様な顔データセットおよび実世界のドローン映像シナリオにおいて、どれほど一般化できるか？
• RQ5 Jetson Xavierのような埋め込みプラットフォームに、このようなプライバシー保護型システムをリアルタイムでドローンにデプロイすることは可能か？

主な発見

• 提案された顔匿名化システムは、元の顔を新しい非識別的顔に変換するが、顔の部品と構造を保持している。
• CelebA-HQ、Helen、FaceScrubを含む複数のデータセットでの評価により、多様な顔貌にわたり一貫性があり高品質な匿名化結果が得られた。
• ORB-SLAM2の特徴抽出性能は、元のフレームと匿名化済みフレームの間でほとんど同一であり、検出された特徴点のずれは最小限に抑えられた。
• ZEDカメラと検出された特徴（例：顔領域）との距離測定値は許容範囲内で保持されており、深度推定に悪影響がないことが確認された。
• システムはJetson Xavier補助コンピュータ上でリアルタイム処理を達成し、モバイルドローンへのデプロイ可能性を示した。
• ROSとの匿名化パイプライン統合により、ドローン上のカメラ、処理ユニット、認識システム間のシームレスな通信が実現された。