[논문 리뷰] Deep perceptual hashing algorithms with hidden dual purpose: when client-side scanning does facial recognition

Shubham Jain, Ana-Maria Creţu외 2명|arXiv (Cornell University)|2023. 05. 22.

Face recognition and analysis인용 수 2

한 줄 요약

이 논문은 클라이언트 사이드 스캐닝 시스템에서 사용되는 딥 퍼셉추얼 해싱 알고리즘을 암묵적으로 학습시켜 특정 개인의 얼굴 인식을 수행할 수 있음을 보여준다. 이는 이미지 복제 탐지 기능을 손상시키지 않은 채로 가능하다. 저자들은 이중 목적 모델이 대상에 대해 67%의 얼굴 인식 재현율을 달성하면서도 이미지 복제 탐지에서 95%의 정밀도를 유지함을 입증했으며, 이차 기능은 적대적 훈련을 통해 숨겨지고 데이터베이스에 단 하나의 오염된 이미지만 추가하면 활성화된다.

ABSTRACT

End-to-end encryption (E2EE) provides strong technical protections to individuals from interferences. Governments and law enforcement agencies around the world have however raised concerns that E2EE also allows illegal content to be shared undetected. Client-side scanning (CSS), using perceptual hashing (PH) to detect known illegal content before it is shared, is seen as a promising solution to prevent the diffusion of illegal content while preserving encryption. While these proposals raise strong privacy concerns, proponents of the solutions have argued that the risk is limited as the technology has a limited scope: detecting known illegal content. In this paper, we show that modern perceptual hashing algorithms are actually fairly flexible pieces of technology and that this flexibility could be used by an adversary to add a secondary hidden feature to a client-side scanning system. More specifically, we show that an adversary providing the PH algorithm can “hide” a secondary purpose of face recognition of a target individual alongside its primary purpose of image copy detection. We first propose a procedure to train a dual-purpose deep perceptual hashing model by jointly optimizing for both the image copy detection and the targeted facial recognition task. Second, we extensively evaluate our dual-purpose model and show it to be able to reliably identify a target individual 67% of the time while not impacting its performance at detecting illegal content. We also show that our model is neither a general face detection nor a facial recognition model, allowing its secondary purpose to be hidden. Finally, we show that the secondary purpose can be enabled by adding a single illegal looking image to the database. Taken together, our results raise concerns that a deep perceptual hashing-based CSS system could turn billions of user devices into tools to locate targeted individuals.

연구 동기 및 목표

• 클라이언트 사이드 스캐닝(CSS)에서 사용되는 딥 퍼셉추얼 해싱(PH) 모델이 특정 개인의 얼굴 인식을 암묵적으로 재사용할 수 있는지 조사한다.
• PH 기반 CSS 시스템을 의무화할 경우 악성 당사자가 대상 개인을 추적할 수 있는 개인정보 위험을 해결한다.
• 이차적인 얼굴 인식 기능을 PH 모델에 통합할 수 있음을 입증하며, 이는 일반 목적의 얼굴 인식 시스템으로 기능하지는 않는다.
• 데이터베이스에 단 하나의 악성 이미지만 추가하면 이차적인 얼굴 인식 기능을 활성화할 수 있음을 보여준다.
• 이중 목적 모델이 이미지 복제 탐지 및 대상 얼굴 인식 작업 모두에서 성능을 평가한다.

제안 방법

• 대비 손실과 크로스-배치 메모리 기반 훈련을 통해 이미지 복제 탐지 및 대상 얼굴 인식을 동시에 최적화하는 딥 퍼셉추얼 해싱 모델을 훈련한다.
• 특수한 훈련 절차를 통해 잠재 공간 내 특정 코드북 벡터와 대상 얼굴의 임베딩을 정렬함으로써 은폐된 얼굴 인식 능력을 통합한다.
• 백도어 유사 메커니즘을 도입하여 모델이 특정 개인의 얼굴을 특정 해시 표현과 연관짓도록 학습시키되, 주요 작업의 일반화 능력에 영향을 주지 않는다.
• 모델의 주요 功能을 변경하지 않고도 이차 기능을 활성화하기 위해 훈련 데이터셋에 단 하나의 '오염된' 대상 개인 이미지를 삽입한다.
• 표준 지표를 사용해 이미지 복제 탐지(정밀도, 재현율, F1) 및 얼굴 인식(재현율, 백만 건당 거짓 양성, F1 스코어)에서 모델 성능을 평가한다.
• 비대상 개인 및 비얼굴 이미지에서의 테스트를 통해 모델이 일반적인 얼굴 검출기 또는 얼굴 인식 시스템으로 기능하지 않는지 확인한다.

실험 결과

연구 질문

• RQ1 딥 퍼셉추얼 해싱 모델이 이미지 복제 탐지 성능을 유지하면서도 특정 개인의 얼굴 인식을 수행할 수 있는가?
• RQ2 일반 목적의 얼굴 인식 시스템이 되지 않도록 PH 모델에 은폐된 얼굴 인식 기능을 통합할 수 있는가?
• RQ3 데이터베이스에 단 하나의 악성 이미지만 추가하면 이차적인 얼굴 인식 기능이 활성화될 수 있는가?
• RQ4 이중 목적 모델이 주요 이미지 복제 탐지 작업에서 성능이 얼마나 떨어지는가?
• RQ5 다양한 훈련 데이터 크기에서 은폐된 얼굴 인식 기능이 대상 개인을 식별하는 데 얼마나 효과적인가?

주요 결과

• 100개의 훈련 이미지를 사용해 훈련한 이중 목적 모델은 대상 개인에 대해 67.2%의 얼굴 인식 재현율을 달성했으며, 백만 건당 82.7건의 거짓 양성이 발생했다.
• 이미지 복제 탐지에 대해 정밀도 95.8%, 재현율 43.8%를 유지하며 단일 목적 모델과 비교해 거의 영향을 받지 않았다.
• 대상에 대한 훈련 이미지 수를 25개로 줄여도 얼굴 인식 성능이 안정적으로 유지되며, 재현율 34.7%를 기록했다.
• 모델은 일반적인 얼굴 인식 능력을 보이지 않으며, 비대상 개인을 탐지하지 못했고(비대상 대상에서 재현율 0.3%), 비얼굴 이미지에서는 거짓 양성도 발생하지 않았다.
• 단 하나의 불법적인 모습을 띤 대상의 이미지만 데이터베이스에 추가하면 은폐된 얼굴 인식 기능이 활성화되어 감지되지 않는 대규모 감시가 가능하다.
• 100개의 이미지로 훈련한 이중 목적 모델은 얼굴 인식에서 F1 스코어 51.2%를 기록했으며, 이는 신뢰성은 있으나 완벽하지 않은 이차 기능임을 시사한다.