[논문 리뷰] PDQ & TMK + PDQF -- A Test Drive of Facebook's Perceptual Hashing Algorithms

Janis Dalins, Campbell Wilson외 1명|arXiv (Cornell University)|2019. 12. 16.

Video Surveillance and Tracking Methods참고 문헌 5인용 수 5

한 줄 요약

이 논문은 법집행 기관 환경에서 수정된 이미지 및 영상을 탐지하기 위해 페이스북의 오픈소스 인식 해시 알고리즘인 PDQ 및 TMK+PDQF를 평가한다. 실제 AFP 수사 데이터를 활용하여 수상한 변형(예: 워터마킹 또는 포맷 변환된 미디어 포함)이 가해진 시각적으로 유사한 콘텐츠를 효과적으로 식별할 수 있음을 입증하며, 기존 디지털 증거 분석 워크플로우에 원활하게 통합할 수 있도록 컨테이너화된 API 접근 방식의 기준 구현체를 제공한다.

ABSTRACT

Efficient and reliable automated detection of modified image and multimedia files has long been a challenge for law enforcement, compounded by the harm caused by repeated exposure to psychologically harmful materials. In August 2019 Facebook open-sourced their PDQ and TMK + PDQF algorithms for image and video similarity measurement, respectively. In this report, we review the algorithms' performance on detecting commonly encountered transformations on real-world case data, sourced from contemporary investigations. We also provide a reference implementation to demonstrate the potential application and integration of such algorithms within existing law enforcement systems.

연구 동기 및 목표

• 실제 법집행 수사에서 발생하는 시각적으로 유사하지만 수정된 이미지 및 영상에 대해 페이스북의 PDQ 및 TMK+PDQF 알고리즘의 내구성 평가
• 기존 암호 해시 기반 기법으로 인해 수정된 콘텐츠를 효과적으로 탐지하지 못해 수사관이 반복적으로 정서적 피해를 입는 문제 해결
• 표준 기반의 컨테이너화된 API 구현체를 통해 인식 해시 기술을 기존 법집행 디지털 증거 분석 시스템에 통합할 수 있는 가능성과 실용성 입증
• 기술적 및 구현 장벽을 줄여 법집행 기관(LEAs)이 사용하기 쉽게 이식성 있고 접근 가능하며 확장 가능한 알고리즘 기반 레퍼런스 구현체 제공
• 생산 준비된 상호운용성 있는 서비스 스택을 오픈소스화하여 인식 해시 도구의 광범위한 보급과 커뮤니티 주도적 발전 촉진

제안 방법

• 오스트레일리아 연방경찰(AFP) 수사에서 확보한 실제 이미지 및 영상 샘플에 대해 PDQ 및 TMK+PDQF 알고리즘 적용. 변형 유형으로는 크기 조정, 자르기, 포맷 변환, 워터마킹 포함
• 인식 해시 간 유사도 측정에 허밍 거리 사용. 유사도 기준으로 30 이하일 경우 시각적으로 유사한 것으로 간주
• Docker를 활용해 PDQ 및 TMK+PDQF 알고리즘을 RESTful API로 노출하는 컨테이너화된 마이크로서비스 개발. 기존 증거 분석 도구와의 통합 가능
• 오픈소스 ThreatExchange 리포지토리 코드베이스 기반으로 Python 스크립트를 활용해 테스트 자동화 및 해시 생성을 위한 레퍼런스 구현체 개발
• 컨테이너화를 통해 다양한 시스템 환경(*nix 및 macOS)에서 이식성 확보. 향후 .NET 래퍼를 활용해 Windows 지원 계획
• 확장 가능한 유사도 검색을 위한 백엔드 검색 엔진으로 Faiss 활용. TMK 기반 영상 검색 서비스 개발 중

실험 결과

연구 질문

• RQ1 실제 수사에서 흔히 발생하는 변형 상황(크기 조정, 자르기, 포맷 변환, 워터마킹 등)에서 PDQ 및 TMK+PDQF의 시각적으로 유사하지만 수정된 이미지 및 영상 탐지 능력은 어느 정도인가?
• RQ2 PDQ 및 TMK+PDQF와 같은 인식 해시 알고리즘이 기존에 알려진 유해 콘텐츠를 반복적으로 노출시키는 법집행 인력의 노출 빈도를 현저히 줄일 수 있는가?
• RQ3 표준 기반의 컨테이너화된 API를 통해 기존 법집행 디지털 증거 분석 워크플로우에 인식 해시 도구를 구현하는 데 실용성이 있는가?
• RQ4 정확도, 확장성, 통합 용이성 측면에서 오픈소스 구현체는 PhotoDNA와 같은 전문가 도구에 비해 어떤 성능을 보이는가?
• RQ5 법집행 분야에서 인식 해시 기술의 보급에 있어 핵심 기술적 및 조직적 장벽은 무엇이며, 오픈소스 협업과 도구 개발을 통해 이를 어떻게 완화할 수 있는가?

주요 결과

• PDQ는 크기 조정, 자르기, 포맷 변환(JPG에서 PNG 등), 워터마킹 등의 일반적인 변형에 대해 시각적으로 유사한 이미지를 성공적으로 탐지. 해시 유사도 기준인 허밍 거리는 유사도 기준 30 이하로 일관되게 유지됨
• TMK+PDQF 파이프라인은 해상도, 압축률, 프레임 레이트 변화에도 불구하고 유사한 영상 프레임을 효과적으로 식별함. 이는 영상 기반 수사에 실용적임을 확인함
• 컨테이너화된 API 기반의 레퍼런스 구현체를 성공적으로 구축 및 배포. 크로스 플랫폼 이식성 확보 및 기존 증거 분석 시스템에의 신속한 통합 가능
• git clone부터 서비스 실행까지 전체 배포 스택의 완료 시간이 20분 이내로 끝나, 법집행 기관의 진입 장벽이 매우 낮음
• 호스트 애플리케이션과의 밀접한 통합(예: 파일 I/O 대신 메모리 내 처리)을 통해 성능 향상 기대 가능. 이는 속도 향상에 크게 기여할 수 있음
• 이러한 알고리즘의 오픈소스화로 커뮤니티 기여 및 발전 가능. 특히 비-CEM 사용 사례에 있어 PhotoDNA와 같은 전문가 도구에 대한 지속 가능한 대안 제공 가능