[논문 리뷰] Visual Content Privacy Protection: A Survey

Ruoyu Zhao, Yushu Zhang외 4명|arXiv (Cornell University)|2023. 03. 29.

Advanced Steganography and Watermarking Techniques인용 수 4

한 줄 요약

이 종합 검토는 적대자 유형—컴퓨터 비전(CV), 인간 시각(HV), 복합 CV&HV 적대자—기반으로 시각적 콘텐츠 개인정보 보호를 위한 신규 3단계 프레임워크를 제안한다. 이는 솔루션, 원칙, 과제를 체계적으로 검토하며, 사람 중심, 실시간, 사용자 친화적 보호를 강조하여, 실세계 적용을 위한 핵심 요소로 사용성과 실천적 구현을 강조한다. 이는 개인정보 보호 솔루션의 거시적 이해를 제공한다.

ABSTRACT

Vision is the most important sense for people, and it is also one of the main ways of cognition. As a result, people tend to utilize visual content to capture and share their life experiences, which greatly facilitates the transfer of information. Meanwhile, it also increases the risk of privacy violations, e.g., an image or video can reveal different kinds of privacy-sensitive information. Researchers have been working continuously to develop targeted privacy protection solutions, and there are several surveys to summarize them from certain perspectives. However, these surveys are either problem-driven, scenario-specific, or technology-specific, making it difficult for them to summarize the existing solutions in a macroscopic way. In this survey, a framework that encompasses various concerns and solutions for visual privacy is proposed, which allows for a macro understanding of privacy concerns from a comprehensive level. It is based on the fact that privacy concerns have corresponding adversaries, and divides privacy protection into three categories, based on computer vision (CV) adversary, based on human vision (HV) adversary, and based on CV \& HV adversary. For each category, we analyze the characteristics of the main approaches to privacy protection, and then systematically review representative solutions. Open challenges and future directions for visual privacy protection are also discussed.

연구 동기 및 목표

• 다양한 적대자 유형과 솔루션 유형을 통합한 거시적이고 종합적인 시각적 콘텐츠 개인정보 보호 검토의 부족을 해결하기 위해.
• 특히, CV 기반, 인간 기반, 복합 CV&HV 적대자 유형에 따라 기반을 두고 기존의 개인정보 보호 솔루션을 식별하고 분류하기 위해.
• 실생활 환경에서의 실천적 보급을 보장하기 위해, 개인정보 보호 기법에서 사람 중심 설계, 실시간 성능, 사용성에 중점을 두기 위해.
• 세 가지 적대자 유형에 걸쳐 대표적인 솔루션을 체계적으로 검토하여 그 원리, 강점, 한계를 부각하기 위해.
• 특히 변화하는 규정에 대비해 균형을 이루는 데 어려움을 겪는 사용성, 보안, 규정 준수를 고려한 시각적 개인정보 보호 분야의 열린 과제와 향후 연구 방향을 제시하기 위해.

제안 방법

• 적대자 유형—컴퓨터 비전(CV), 인간 시각(HV), 복합 CV&HV 적대자—기반으로 솔루션을 분류하는 고수준 개인정보 보호 프레임워크를 제안한다.
• 각 적대자 유형의 특성, 즉 탐지 능력과 공격 표면을 분석하여 솔루션 분류를 안내한다.
• 각 범주 내에서 대표적인 솔루션을 검토하고 비교하며, 이미지 편향, 흐림 처리, 왜곡, 적대적 예제 생성 등의 기법에 초점을 맞춘다.
• 일반 기기에서 실시간으로 실행 가능한 사용자 중심의 경량 보호 메커니즘을 강조하며, 복잡하고 전문가에 의존하는 방법보다는 이를 선호한다.
• 개인정보 보호 설계 원칙과 사용자 중심 보호를 통합하여, 소셜 미디어나 클라우드 서비스와 같은 실제 응용 분야에서 구현 가능한 솔루션을 확보한다.
• 표준 및 규정(예: GDPR, BIPA)이 향후 개인정보 보호 솔루션의 형성에 미치는 역할을 논의하며, 기술적 설계를 법적 및 윤리적 준수와 연결한다.

Figure 1: A simple case of visual content revealing information. For a visual content, CV and HV are able to extract a large amount of information, some of which is unique and some of which has overlap.

실험 결과

연구 질문

• RQ1 어떻게 시각적 콘텐츠 개인정보 보호를 관련된 적대자 유형에 따라 체계적으로 분류할 수 있는가?
• RQ2 CV 기반, 인간 기반, 복합 CV&HV 적대자 간의 개인정보 泄露 위험과 보호 전략의 주요 차이는 무엇인가?
• RQ3 왜 사용성과 실시간 성능이 시각적 개인정보 보호 솔루션의 실천적 보급에 핵심적인가?
• RQ4 이미지 및 영상 환경에서 다양한 개인정보 보호 기법 간의 공통 원칙과 설계의 상충 관계는 무엇인가?
• RQ5 특히 변화하는 규정과 새로운 기술의 출현에 대비해, 시각적 개인정보 보호 분야에서 주요한 열린 과제와 향후 연구 방향은 무엇인가?

주요 결과

• 제안된 프레임워크는 기존의 시각적 개인정보 보호 솔루션을 세 가지 적대자 기반 범주—CV 기반, HV 기반, 복합 CV&HV 기반—으로 성공적으로 분류하여 분야의 거시적 이해를 가능하게 했다.
• 화이트박스 적대적 편향과 같은 고급 솔루션들은 높은 전문성과 계산 자원 요구로 일상 사용자에게는 실용적이지 않아, 사람 중심 설계의 필요성을 부각시켰다.
• 일반 기기에서 실시간으로 실행 가능한 경량 솔루션은 실시간 블러링 및 단순 편향 기법의 성공 사례를 통해 광범위한 보급 가능성을 보였다.
• 기술적 개인정보 보호 솔루션과 사용자 기대 간의 점점 커지는 괴리—사용자가 감시로 느끼는 시스템은 기각되며, 애플의 취소된 iCloud 어린이 학대 탐지 기능에서 나타난 바와 같이, 신뢰와 투명성의 중요성을 강조한다.
• GDPR, BIPA와 같은 규제 프레임워크는 점점 더 엄격해지고 있으며, 개인정보 보호 설계를 간과한 서비스 제공자는 법적 및 명성 손실 위험이 커져, 개인정보 보호는 윤리적 요구를 넘어 필수적인 요소가 되고 있다.
• 이 검토는 향후 연구가 사용성, 실시간 성능, 변화하는 기준 준수를 우선시해야 하며, 이는 개인정보 보호 솔루션이 실세계 시스템에서 효과적이고도 구현 가능한지를 보장하기 위함임을 밝혔다.

Figure 3: Visual content privacy protection framework, including three adversaries: CV, HV, and CV&HV. Examples from left to right are from, respectively, [ 45 ] , and [ 46 ] , [ 47 ] , [ 48 ] , [ 49 ] , and [ 50 ] .