[논문 리뷰] Enable Portrait Privacy Protection in Photo Capturing and Sharing

Lan Zhang, Kebin Liu외 4명|arXiv (Cornell University)|2014. 10. 24.

Face recognition and analysis참고 문헌 8인용 수 3

한 줄 요약

이 논문은 사용자의 명시적 개인정보 보호 선호도를 기반으로 사진에서 인물 영역을 자동으로 제거할 수 있는 개인정보 보호 프로토콜 InvisibleMe를 제안한다. 이는 얼굴 데이터를暴露하지 않으면서도 개인과 개인정보 요청을 연동할 수 있는 경량이고 개인정보 보호 중심의 벡터 매칭 기법을 사용하여 실제 환경 테스트에서 95.1%의 정확도와 1초 미만의 매칭 시간을 달성한다.

ABSTRACT

The wide adoption of wearable smart devices with onboard cameras greatly increases people's concern on privacy infringement. Here we explore the possibility of easing persons from photos captured by smart devices according to their privacy protection requirements. To make this work, we need to address two challenges: 1) how to let users explicitly express their privacy protection intention, and 2) how to associate the privacy requirements with persons in captured photos accurately and efficiently. Furthermore, the association process itself should not cause portrait information leakage and should be accomplished in a privacy-preserving way. In this work, we design, develop, and evaluate a protocol, that enables a user to flexibly express her privacy requirement and empowers the photo service provider (or image taker) to exert the privacy protection policy.Leveraging the visual distinguishability of people in the field-of-view and the dimension-order-independent property of vector similarity measurement, we achieves high accuracy and low overhead. We implement a prototype system, and our evaluation results on both the trace-driven and real-life experiments confirm the feasibility and efficiency of our system.

연구 동기 및 목표

• 스마트 안경과 같은 스마트 카메라 및 웨어러블 기기의 보급으로 인한 개인정보 침해 우려 증가에 대응한다.
• 시각적 마커 없이도 사용자가 개인정보 선호도를 표현할 수 있도록 하여 미적 및 실용적 사용성을 확보한다.
• 사진에 촬영된 개인과 개인정보 요청을 정확하고 효율적으로 연동하면서도 인물 정보 泄露를 방지한다.
• 모바일 기기와 신뢰할 수 없는 클라우드 서버에서 최소한의 오버헤드로 작동하는 투명한 시스템을 설계한다.
• 사진 내 자동 인물 제거와 개인의 개인정보 보존 태깅을 모두 지원한다.

제안 방법

• 사용자의 개인정보 선호도를 외관에 통합된 시각적 특징으로 인코딩하여 비가시적인 의도 표현을 가능하게 한다.
• 차원 순서에 영향을 받지 않는 벡터 유사도 측정을 사용하여 얼굴 세부 정보를暴露하지 않고도 개인정보 요청 벡터와 이미지 영역을 매칭한다.
• 개인정보 泄露를 방지하기 위해 복잡한 매칭 계산을 신뢰할 수 없는 클라우드 서버에 외주하는 개인정보 보호 프로토콜을 사용한다.
• 두 단계 프로토콜을 구현한다: 기본 성능을 위한 InvisibleMe-Basic과 해시된 특징 벡터를 사용한 최적화된 속도를 위한 InvisibleMe-Advanced.
• 클라이언트와 클라우드 간 비상호작용적이고 비밀 유지 가능한 벡터 거리 계산을 가능하게 하기 위해 보안 다자간 계산 원리를 활용한다.
• 세 가지 위협 모델을 지원하는 시스템 모델을 설계한다: 전송 중 개인정보 泄露, 매칭 중 노출, 이미지 데이터에 대한 무단 액세스.

실험 결과

연구 질문

• RQ1 사진 촬영 중에 사용자가 인물 개인정보 보호 선호도를 침해 없이 비가시적이고 유연하게 표현할 수 있는 방법은 무엇인가?
• RQ2 얼굴 데이터를暴露하지 않고도 촬영된 이미지 내 개인과 개인정보 요청을 정확하고 효율적으로 연동할 수 있는 방법은 무엇인가?
• RQ3 매칭 과정 자체가 신뢰할 수 없는 당사자에게 인물 정보를 泄露하지 않도록 보장하는 메커니즘은 무엇인가?
• RQ4 개인정보를 보장하면서도 모바일 기기에서 계산 및 통신 오버헤드를 최소화할 수 있는 방법은 무엇인가?
• RQ5 실제 환경에서 제안된 개인정보 보호 매칭 프로토콜의 성능과 정확도 간의 트레이드오프는 어떠한가?

주요 결과

• 비가시 사용자가 사진에 존재할 경우, 시스템은 거짓 음성률 1.4%와 거짓 양성률 0.9%를 달성한다.
• 비가시 사용자가 존재하지 않을 경우, 진짜 매칭이 없기 때문에 거짓 양성률이 4.9%로 증가하므로, 더 높은 임계값 조정이 필요하다.
• 인물 그래프 전송 지연은 약 0.01~0.04초로 극히 미미하며, 전체 시스템 계산 지연은 약 4초(클라이언트 3초, 클라우드 1초)이다.
• 최적화된 InvisibleMe-Advanced 버전에서는 매칭 비용이 단 0.01초로, Paillier 기반 방법(1회 매칭당 1.8초)보다 훨씬 빠르다.
• 프로토콜로 인한 전력 소모는 몇 초 수준으로 매우 미미하며, 사진 촬영 자체의 비용에 비해 훨씬 낮다.
• 프로토콜은 자동 인물 제거와 개인정보 보존 태깅을 모두 지원하며, 제거의 무결성 검증이 가능하다.