[논문 리뷰] No Peeking through My Windows: Conserving Privacy in Personal Drones

Alem Fitwi, Yu Chen외 1명|arXiv (Cornell University)|2019. 08. 26.

Video Surveillance and Tracking Methods참고 문헌 33인용 수 6

한 줄 요약

이 논문은 라즈베리 파이 3 B+에서 8.69 FPS의 성능을 기록하며 실시간 영상 프레임에서 창문을 탐지하고, 창문 뒤의 내용을 혼돈 기반 스캐러빙 기법으로 은폐하는 경량이며 프라이버시를 보장하는 메커니즘을 제안한다. 이는 자율 주행 드론의 창문을 통한 비승인된 감시를 방지하기 위한 실용적이고 엣지 기반 호환 가능한 솔루션이다.

ABSTRACT

The drone technology has been increasingly used by many tech-savvy consumers, a number of defense companies, hobbyists and enthusiasts during the last ten years. Drones often come in various sizes and are designed for a multitude of purposes. Nowadays many people have small-sized personal drones for entertainment, filming, or transporting items from one place to another. However, personal drones lack a privacy-preserving mechanism. While in mission, drones often trespass into the personal territories of other people and capture photos or videos through windows without their knowledge and consent. They may also capture video or pictures of people walking, sitting, or doing private things within the drones' reach in clear form without their go permission. This could potentially invade people's personal privacy. This paper, therefore, proposes a lightweight privacy-preserving-by-design method that prevents drones from peeking through windows of houses and capturing people doing private things at home. It is a fast window object detection and scrambling technology built based on image-enhancing, morphological transformation, segmentation and contouring processes (MASP). Besides, a chaotic scrambling technique is incorporated into it for privacy purpose. Hence, this mechanism detects window objects in every image or frame of a real-time video and masks them chaotically to protect the privacy of people. The experimental results validated that the proposed MASP method is lightweight and suitable to be employed in drones, considered as edge devices.

연구 동기 및 목표

• 사람의 드론이 동의 없이 창문을 통해 사생활 활동을 촬영함으로써 발생하는 증가하는 프라이버시 문제를 해결하기 위해.
• 자원이 제한된 드론과 같은 엣지 장치에 배포 가능한 실시간이며 경량의 프라이버시 보장 메커니즘을 개발하기 위해.
• 창문의 기하학적 및 구조적 특성을 활용한 영상 처리 기법을 통해 이미지 및 영상 프레임에서 창문 객체를 탐지하기 위해.
• 창문 영역을 혼란스러운 스캐러빙 기법으로 은폐하여 창문을 통해 보이는 사생활 활동에 대한 비승인된 시각적 접근을 방지하기 위해.
• 드론의 기술적 유용성과 개인의 프라이버시 권리 사이의 균형을, 사전에 프라이버시 보호 기능을 내장한 메커니즘을 통해 확립하기 위해.

제안 방법

• 이 방법은 창문의 고유한 기하학적 및 구조적 특성을 활용하여 이미지 및 영상 프레임에서 효율적으로 창문을 탐지하는 형태학적 및 분할 기반 프로세스(MASP)를 적용한다.
• 이미지 전처리 기법으로는 향상, 형태학적 변환, 분할, 윤곽선 추출을 사용하여 배경에서 창문 유사 영역을 분리한다.
• 탐지된 창문 영역에 혼돈 기반 스캐러빙 기법을 적용하여 창문 뒤의 내용을 은폐함으로써 프라이버시를 보호한다.
• 저전력 단일 보드 컴퓨터인 라즈베리 파이 3 B+와 같은 엣지 장치에 최적화되어 배포되도록 설계되어 있다.
• 중요한 딥 러닝 모델을 피하고, 실시간 성능을 유지하기 위해 효율적인 수작업으로 구성된 영상 처리 파이프라인에 의존한다.
• 탐지 정확도와 프레임 속도를 평가하기 위해 17,400장의 이미지와 실시간 영상 시퀀스로 구성된 자체 구축 데이터셋을 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 저전력 드론 엣지 장치에 배포 가능한 경량이며 실시간 창문 탐지 방법을 개발할 수 있는가?
• RQ2 제약이 있는 하드웨어에서 고속 프레임 속도를 유지하면서도 거짓 긍정을 최소화하는 MASP 기반 창문 탐지 방법의 효과는 어떠한가?
• RQ3 탐지된 창문 영역에 대한 혼돈 기반 스캐러빙이 프라이버시 泄露를 방지하면서도 드론 영상 피드의 사용성에 영향을 주지 않는 정도는 어느 정도인가?
• RQ4 라즈베리 파이 3 B+와 같은 엣지 플랫폼에서 기존의 딥 러닝 기반 객체 탐지기법에 비해 속도와 자원 효율성 측면에서 본 논문의 방법이 뛰어난가?
• RQ5 특히 창문 특징가 덜 뚜렷해지는 장거리에서 시스템 성능은 어떠한가, 각도와 거리 변화에 어떻게 대응하는가?

주요 결과

• 제안된 MASP 방법은 라즈베리 파이 3 B+에서 8.69 FPS의 프레임 속도를 기록하여 엣지 장치에 실시간 배포가 가능함을 입증한다.
• 17,400장의 이미지와 실시간 영상 데이터셋에서 창문 탐지 시 거짓 긍정률(FPR)이 10.67%로 나타나 중간 정도의 탐지 정확도를 보인다.
• 기존의 HOG+SVM 및 하르-캐스케이드 방법과 비교해 MASP 방법은 뚜렷한 속도 우월성을 보이며, 동일 하드웨어에서 각각 0.65 FPS 및 1.93 FPS 대비 8.69 FPS를 기록한다.
• SSD_mobilenet_v1(1.39 FPS) 및 기타 CNN 기반 모델은 모두 라즈베리 파이에서 2 FPS 이하로 작동하므로, 본 방법은 이들보다 뛰어난 성능을 보인다.
• 장거리에서도 기능을 유지하나, 거리가 증가함에 따라 탐지 정확도는 약간 감소한다.
• 저자들은 FPR 향상을 위해 경량 컨볼루션 신경망을 통합하여 복잡한 건축 환경에서의 탐지 성능을 향상시키기 위한 필요성을 지적한다.