[논문 리뷰] ScreenAvoider: Protecting Computer Screens from Ubiquitous Cameras

Mohammed Korayem, Robert Templeman외 3명|arXiv (Cornell University)|2014. 11. 28.

Video Surveillance and Tracking Methods참고 문헌 22인용 수 13

한 줄 요약

ScreenAvoider는 라이프로깅 데이터에 포함된 컴퓨터 화면을 탐지하고 분류하는 컴퓨터 비전 프레임워크로, 화면 유무 및 내용 기반으로 개인정보 보호 정책을 시행할 수 있도록 한다. 고도의 딥러닝 기술을 활용해 정확한 탐지 기능을 제공하며, 이메일이나 메시징 앱과 같은 민감한 화면 내용을 식별하는 데 사용되는 ScreenTag를 도입하여, 일반적인 카메라 환경에서의 개인정보 관리 수준을 크게 향상시킨다.

ABSTRACT

We live and work in environments that are inundated with cameras embedded in devices such as phones, tablets, laptops, and monitors. Newer wearable devices like Google Glass, Narrative Clip, and Autographer offer the ability to quietly log our lives with cameras from a `first person' perspective. While capturing several meaningful and interesting moments, a significant number of images captured by these wearable cameras can contain computer screens. Given the potentially sensitive information that is visible on our displays, there is a need to guard computer screens from undesired photography. People need protection against photography of their screens, whether by other people's cameras or their own cameras. We present ScreenAvoider, a framework that controls the collection and disclosure of images with computer screens and their sensitive content. ScreenAvoider can detect images with computer screens with high accuracy and can even go so far as to discriminate amongst screen content. We also introduce a ScreenTag system that aids in the identification of screen content, flagging images with highly sensitive content such as messaging applications or email webpages. We evaluate our concept on realistic lifelogging datasets, showing that ScreenAvoider provides a practical and useful solution that can help users manage their privacy.

연구 동기 및 목표

• 가상 및 일상적인 카메라가 컴퓨터 화면에 표시된 민감한 정보를 촬영함에 따라 증가하는 개인정보 위험을 해결한다.
• 사용자가 대량의 라이프로깅 데이터셋을 수동으로 검토하는 데 의존하지 않고, 이미지에 컴퓨터 화면이 포함되어 있는지 자동으로 탐지할 수 있는 시스템을 개발한다.
• 이메일이나 메시징과 같이 매우 민감한 애플리케이션의 경우, 화면 존재 여부 및 콘텐츠 유형 기반으로 사용자가 개인정보 보호 정책을 설정할 수 있도록 한다.
• 화면이 포함된 이미지와 민감한 화면 콘텐츠를 구분함으로써, 라이프로깅 환경에서의 개인정보 관리 수준을 향상시킨다.
• 기존 클라우드 기반 라이프로깅 서비스나 운영 체제와 통합되어 실시간 정책 시행이 가능한 실용적이고 구현 가능한 솔루션을 제공한다.

제안 방법

• 최신 기술 기반의 객체 탐지 기법을 활용해 고정밀도로 이미지 내 컴퓨터 화면을 탐지하기 위해 딥 컨volution 네트워크(CNN)를 활용한다.
• 두 단계 탐지 파이프라인을 적용한다: 먼저 화면 영역을 식별하고, 그 다음에 세밀한 시각적 인식 기술을 사용해 해당 영역 내 콘텐츠를 분류한다.
• 이미지에 이메일 인터페이스나 메시징 앱과 같이 매우 민감한 콘텐츠가 포함되어 있는지 시각적 패턴 기반으로 식별하고 경고하는 ScreenTag를 도입한다.
• 시각적 속성(예: 화면 존재 여부, 콘텐츠 유형 등)이 개인정보 보호 정책을 유도하는 속성 기반 액세스 제어(ABAC) 원리를 적용한다.
• 실제 라이프로깅 데이터셋을 대상으로 평가하여 실제 배포 조건을 시뮬레이션하고 실용적 제약 조건 하에서의 성능을 평가한다.
• API 또는 운영 체제 수준 서비스를 통해 기존 라이프로깅 플랫폼과 통합하여, 이미지 수집 또는 업로드 시 실시간 정책 시행이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 웨어러블 카메라가 촬영한 이미지 내에서 딥러닝 기반 시스템이 컴퓨터 화면의 존재를 정확하게 탐지할 수 있는가?
• RQ2 시스템은 이메일, 메시징, 일반 웹 브라우징 등과 같은 카테고리로 화면 콘텐츠를 민감성 여부에 따라 분류할 수 있는 정도는 어느 정도인가?
• RQ3 ScreenTag 시스템은 개인 메시지나 금융 정보와 같은 매우 민감한 콘텐츠를 포함한 이미지를 식별하고 경고하는 데 얼마나 효과적인가?
• RQ4 이 프레임워크는 기존 라이프로깅 파이프라인에 통합되어 사용자 개입 없이도 개인정보 보호 정책을 시행할 수 있는가?
• RQ5 혼합된 콘텐츠를 포함한 대량의 이미지가 포함된 실제 라이프로깅 시나리오에서 시스템은 어떻게 성능을 발휘하는가?

주요 결과

• ScreenAvoider는 실제 환경에서의 라이프로깅 이미지 내 컴퓨터 화면 탐지에 높은 정확도를 달성하여, 실생활 환경에서 자동화된 화면 탐지의 가능성을 입증한다.
• 시스템은 화면이 포함된 이미지와 포함되지 않은 이미지를 효과적으로 구분할 수 있어, 화면 존재 여부 기반의 정책 시행이 가능하다.
• ScreenTag는 메시징 애플리케이션 및 이메일 웹페이지와 같은 민감한 콘텐츠를 포함한 이미지를 효과적으로 식별하고 경고함으로써, 뜻하지 않은 유출 위험을 감소시킨다.
• 이 프레임워크를 통해 사용자는 화면이 포함된 이미지, 특히 민감한 콘텐츠를 포함한 이미지의 클라우드 스토리지 차단 또는 제한을 위한 개인정보 보호 정책을 시행할 수 있다.
• 실제 라이프로깅 데이터셋에 대한 평가를 통해 ScreenAvoider가 일반적인 카메라 환경에서의 개인정보 관리에 실용적이고 확장 가능한 솔루션을 제공한다는 것이 확인되었다.
• 딥러닝과 속성 기반 액세스 제어의 통합은 의미 수준의 개인정보 관리 가능성을 열어주며, 이는 이전의 규칙 기반 또는 수동 접근 방식에 비해 중대한 발전이다.