[논문 리뷰] Learning to Break Deep Perceptual Hashing: The Use Case NeuralHash

Lukas Struppek, Dominik Hintersdorf외 2명|arXiv (Cornell University)|2021. 11. 12.

Digital Media Forensic Detection인용 수 15

한 줄 요약

이 논문은 Apple의 NeuralHash, 즉 클라이언트 기반 아동 성착의물(CSAM) 탐지용 딥 퍼셉추얼 해싱 시스템이 기울기 기반 및 표준 이미지 변형 공격에 매우 취약하다는 것을 입증한다. 저자들은 악성 사용자가 탐지 회피 또는 오진 탐지 유도를 위해 쉽게 이미지를 조작할 수 있음을 보여주며, 이는 시스템의 강건성과 프라이버시 보장을 약화시킨다.

ABSTRACT

Apple recently revealed its deep perceptual hashing system NeuralHash to detect child sexual abuse material (CSAM) on user devices before files are uploaded to its iCloud service. Public criticism quickly arose regarding the protection of user privacy and the system's reliability. In this paper, we present the first comprehensive empirical analysis of deep perceptual hashing based on NeuralHash. Specifically, we show that current deep perceptual hashing may not be robust. An adversary can manipulate the hash values by applying slight changes in images, either induced by gradient-based approaches or simply by performing standard image transformations, forcing or preventing hash collisions. Such attacks permit malicious actors easily to exploit the detection system: from hiding abusive material to framing innocent users, everything is possible. Moreover, using the hash values, inferences can still be made about the data stored on user devices. In our view, based on our results, deep perceptual hashing in its current form is generally not ready for robust client-side scanning and should not be used from a privacy perspective.

연구 동기 및 목표

• 실제 사례 연구로 Apple의 NeuralHash를 활용해 딥 퍼셉추얼 해싱 시스템의 강건성을 실증적으로 분석하는 것.
• 공격자가 악성 또는 비악성 이미지 변형을 통해 퍼셉추얼 해싱 출력을 회피하거나 조작할 수 있는지 조사하는 것.
• 퍼셉추얼 해싱과 관련된 프라이버시 위험, 특히 해시 값에서 이미지 내용이 유출되는 문제를 평가하는 것.
• 무죄자에 대한 프레임업이나 불법 콘텐츠 숨기기를 가능하게 하는 충돌 공격의 실현 가능성 평가.
• 현재의 딥 퍼셉추얼 해싱 기술에 내재된 취약성과 프라이버시 위험으로 인해 클라이언트 기반 스캐닝 시스템의 도입을 반대하는 것.

제안 방법

• 실제 이미지 데이터셋과 악성 편향 기법을 활용해 NeuralHash 시스템에 대한 실증 분석을 수행했다.
• 작은, 인지하기 어려운 이미지 편향을 생성하기 위해 기울기 기반 최적화 방법(예: PGD)을 적용하여 해시 출력을 변경시켰다.
• 회전, 스케일링, 밝기 조정 등의 비악성 이미지 변형을 탐색하여 강건성과 해시 충돌을 테스트했다.
• 유사한 의미적 이미지 간의 해시 출력 유사도를 분석하여 NeuralHash에서의 정보 유출 정도를 평가했다.
• 실제 탐지 시나리오를 시뮬레이션하고 악성 회피 및 충돌 공격을 테스트하기 위해 공개된 알려진 CSAM 해시 저장소를 활용했다.
• 다시 생성 가능한 프레임워크를 구현하고 오픈소스로 공개하여 퍼셉추얼 해싱 시스템의 향후 분석을 가능하게 했다.

실험 결과

연구 질문

• RQ1 기울기 기반 공격가 NeuralHash 출력을 성공적으로 조작하여 CSAM 이미지 탐지를 회피할 수 있는가?
• RQ2 회전, 자르기 등 표준 이미지 변형(예: 회전, 자르기)이 NeuralHash에서 얼마나 자주 해시 충돌을 유도하는가?
• RQ3 퍼셉추얼 해시 값에서 원본 이미지 내용에 대한 얼마나 많은 정보가 누출되는가?
• RQ4 악성 사용자가 알려진 CSAM 해시와 일치하거나 일치하지 않는 이미지를 신뢰성 있게 생성할 수 있는가?
• RQ5 이러한 시스템이 사용자 기기에서 배포될 경우, 조작에 취약한 점을 감안할 때 그 광범위한 영향은 무엇인가?

주요 결과

• 기울기 기반 공격가 NeuralHash 출력을 성공적으로 변경하여 CSAM 이미지 탐지 회피에 높은 성공률로 성공했다.
• 회전 및 밝기 조정과 같은 간단한 이미지 변형이 자주 해시 충돌을 유도하여 시스템의 낮은 강건성을 입증했다.
• 퍼셉추얼 해시에서 원본 이미지 내용에 대한 중요한 정보가 누출되었으며, 짧은 비트스트링이라도 탈식별화 또는 역공학이 가능함을 시사했다.
• 시스템은 무죄자 프레임업을 위한 충돌 공격과 불법 콘텐츠 숨기기를 위한 프리이미지 공격 모두에 취약하다.
• 저자들은 NeuralHash 및 유사 시스템이 이러한 취약성으로 인해 클라이언트 기반 배포에 충분히 강건하거나 안전하지 않다고 결론 내렸다.
• 이 연구는 퍼셉추얼 해싱 기반 클라이언트 기반 스캐닝 시스템이 현재 형태로는 수용할 수 없는 프라이버시 위험을 야기하므로 배포해서는 안 된다고 강조한다.