[논문 리뷰] Privacy-Protection Drone Patrol System based on Face Anonymization

Harim Lee, Myeung Un Kim외 3명|arXiv (Cornell University)|2020. 05. 29.

Face recognition and analysis참고 문헌 1인용 수 4

한 줄 요약

이 논문은 드론의 동반 컴퓨터에서 실시간으로 얼굴을 익명화하기 위해 수정된 CycleGAN과 GauGAN 기반의 생성적 적대적 네트워크(GAN) 프레임워크를 사용하는 프라이버시 보장 드론 순찰 시스템을 제안한다. 시스템은 원본 얼굴을 사진처럼 사실적인 새로운 신원으로 변환하면서도 로봇 인식에 필수적인 시각적 특징을 유지하여, SLAM 성능 저하 없이 효과적인 프라이버시 보호를 달성한다.

ABSTRACT

The robot market has been growing significantly and is expected to become 1.5 times larger in 2024 than what it was in 2019. Robots have attracted attention of security companies thanks to their mobility. These days, for security robots, unmanned aerial vehicles (UAVs) have quickly emerged by highlighting their advantage: they can even go to any hazardous place that humans cannot access. For UAVs, Drone has been a representative model and has several merits to consist of various sensors such as high-resolution cameras. Therefore, Drone is the most suitable as a mobile surveillance robot. These attractive advantages such as high-resolution cameras and mobility can be a double-edged sword, i.e., privacy infringement. Surveillance drones take videos with high-resolution to fulfill their role, however, those contain a lot of privacy sensitive information. The indiscriminate shooting is a critical issue for those who are very reluctant to be exposed. To tackle the privacy infringement, this work proposes face-anonymizing drone patrol system. In this system, one person's face in a video is transformed into a different face with facial components maintained. To construct our privacy-preserving system, we have adopted the latest generative adversarial networks frameworks and have some modifications on losses of those frameworks. Our face-anonymzing approach is evaluated with various public face-image and video dataset. Moreover, our system is evaluated with a customized drone consisting of a high-resolution camera, a companion computer, and a drone control computer. Finally, we confirm that our system can protect privacy sensitive information with our face-anonymzing algorithm while preserving the performance of robot perception, i.e., simultaneous localization and mapping.

연구 동기 및 목표

• 고해상도 카메라를 탑재한 감시 드론으로 인한 프라이버시 침해 우려가 증가하는 데 대응하기 위해.
• 로봇 인식 능력에 영향을 주지 않으면서도 개인 신원을 보호하는 실시간 얼굴 익명화 시스템을 개발하기 위해.
• 현장에서 작동하는 드론 순찰 시스템에 프라이버시 보장 비전 파이프라인을 통합하기 위해.
• 공개 데이터셋과 실제 드론 영상 기록을 대상으로 시스템의 효과성을 평가하기 위해.
• 얼굴 익명화가 시각 기반 로봇 인식, 예를 들어 ORB-SLAM2 성능에 악영향을 주지 않도록 보장하기 위해.

제안 방법

• 시스템은 도메인 번역을 위한 CycleGAN과 의미적 이미지 합성을 위한 GauGAN을 조합하여, 얼굴 익명화를 위한 이중 단계 GAN 프레임워크를 구축한다.
• 생성자에 대해 수정된 손실 함수를 적용하여 신원을 교체하면서도 얼굴 구조를 유지함으로써 사진처럼 사실적이면서도 프라이버시를 보장하는 결과를 확보한다.
• 익명화 파이프라인은 ZED 스테레오 카메라를 장착한 커스터마이즈드 드론에 장착된 Jetson Xavier 동반 컴퓨터에 구현된다.
• ROS 프레임워크를 사용해 영상 프레임을 실시간으로 처리함으로써 인식과 프라이버시 보호의 종단 간 통합을 가능하게 한다.
• 각 프레임은 감지된 얼굴을 공간적 및 기하학적 일관성을 유지하면서도 새로운 비식별성 얼굴으로 교체하도록 처리된다.
• ORB-SLAM2를 사용해 익명화가 시각적 오도메트리 및 특징 추출에 영향을 주는지 평가함으로써 표준 로봇 인식 스택과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 GAN 기반 얼굴 익명화 시스템은 실시간 드론 영상 스트림에서 개인 신원을 효과적으로 보호할 수 있는가?
• RQ2 얼굴 익명화는 ORB-SLAM2와 같은 시각 기반 로봇 인식 시스템의 성능에 어느 정도 영향을 미치는가?
• RQ3 CycleGAN과 GauGAN을 융합한 하이브리드 GAN 아키텍처는 높은 품질의 신원 보존 얼굴 익명화와 구조적 정확성을 동시에 달성할 수 있는가?
• RQ4 이 시스템은 다양한 얼굴 데이터셋과 실제 드론 영상 시나리오에 대해 얼마나 잘 일반화되는가?
• RQ5 Jetson Xavier와 같은 임베디드 플랫폼에 이러한 프라이버시 보장 시스템을 실시간으로 구동할 수 있는가?

주요 결과

• 제안된 얼굴 익명화 시스템은 원본 얼굴을 새로운 비식별성 얼굴로 성공적으로 변환하면서도 얼굴 구성 요소와 구조를 유지한다.
• CelebA-HQ, Helen, FaceScrub 등 다양한 데이터셋에 대한 평가 결과, 다양한 얼굴 외형에 걸쳐 일관되고 고품질의 익명화 결과를 확보하였다.
• ORB-SLAM2의 특징 추출 성능은 원본 영상 프레임과 익명화된 영상 프레임 간 거의 동일했으며, 검출된 특징점의 편차가 최소한이었다.
• ZED 카메라와 검출된 특징(예: 얼굴 영역) 사이의 거리 측정치는 허용 가능한 범위 내에서 유지되어 깊이 추정 성능 저하가 없음을 확인하였다.
• Jetson Xavier 동반 컴퓨터에서 실시간 처리가 가능하여 모바일 드론에의 구현 가능성을 입증하였다.
• ROS와의 익명화 파이프라인 통합을 통해 드론의 카메라, 처리 장치, 인식 시스템 간 원활한 통신이 가능해졌다.