[论文解读] PDQ & TMK + PDQF -- A Test Drive of Facebook's Perceptual Hashing Algorithms

Janis Dalins, Campbell Wilson+1 more|arXiv (Cornell University)|Dec 16, 2019

Video Surveillance and Tracking Methods参考文献 5被引用 5

一句话总结

本文评估了 Facebook 开源的感知哈希算法 PDQ 和 TMK+PDQF 在执法环境中检测修改后图像和视频的适用性。研究展示了这些算法在识别感知上相似但经过修改的内容（如添加水印或格式转换的媒体）方面的有效性，基于真实的澳大利亚联邦警察（AFP）调查数据。研究还提供了一个容器化、可通过 API 访问的参考实现，可无缝集成至现有法医工作流程中。

ABSTRACT

Efficient and reliable automated detection of modified image and multimedia files has long been a challenge for law enforcement, compounded by the harm caused by repeated exposure to psychologically harmful materials. In August 2019 Facebook open-sourced their PDQ and TMK + PDQF algorithms for image and video similarity measurement, respectively. In this report, we review the algorithms' performance on detecting commonly encountered transformations on real-world case data, sourced from contemporary investigations. We also provide a reference implementation to demonstrate the potential application and integration of such algorithms within existing law enforcement systems.

研究动机与目标

• 评估 Facebook 的 PDQ 和 TMK+PDQF 算法在真实执法调查中检测感知上相似但被修改的图像和视频时的鲁棒性。
• 解决因传统加密哈希无法有效检测被修改内容，导致调查人员反复暴露于心理有害材料的问题。
• 通过基于标准的、容器化的 API 实现，证明将感知哈希集成至现有执法数字法医系统的技术可行性和实用性。
• 通过提供可移植、可访问且可扩展的算法参考实现，降低执法机构（LEAs）的技术和部署门槛。
• 通过开源一个生产就绪、互操作的服务堆栈，推动感知哈希工具的广泛采用和社区驱动的开发。

提出的方法

• 将 PDQ 和 TMK+PDQF 算法应用于来自澳大利亚联邦警察（AFP）调查的真实图像和视频样本，涵盖缩放、裁剪、格式转换和添加水印等变换。
• 使用汉明距离作为感知哈希之间的相似性度量，设定阈值为 30 或以下表示感知相似。
• 使用 Docker 构建容器化微服务，通过 RESTful API 暴露 PDQ 和 TMK+PDQF 算法，实现与现有法医工具的集成。
• 使用 Python 脚本构建参考实现，自动化测试与哈希生成，基于开源 ThreatExchange 代码库。
• 通过容器化技术在异构系统上部署服务，确保在 *nix 和 macOS 环境下的可移植性，未来计划通过 .NET 包装器支持 Windows。
• 采用 Faiss 作为后端搜索引擎，实现可扩展的相似性搜索，TMK 基础的图像搜索服务正在开发中。

实验结果

研究问题

• RQ1 在真实调查中常见的变换场景下，PDQ 和 TMK+PDQF 在检测感知上相似但被修改的图像和视频方面效果如何？
• RQ2 像 PDQ 和 TMK+PDQF 这类感知哈希算法能否显著减少执法工作人员反复暴露于已知有害内容的情况？
• RQ3 通过标准化、容器化的 API，将感知哈希工具部署至现有执法数字法医工作流程的实际可行性如何？
• RQ4 在准确性、可扩展性和集成便捷性方面，该开源实现与 PhotoDNA 等专有解决方案相比表现如何？
• RQ5 执法领域采用感知哈希的主要技术与组织障碍是什么？如何通过开源协作与工具开发加以缓解？

主要发现

• PDQ 在常见变换（如缩放、裁剪、格式转换（如 JPG 转 PNG）和添加水印）下，能有效检测感知上相似的图像，汉明距离始终低于 30 的相似性阈值。
• TMK+PDQF 流程在分辨率、压缩和帧率变化下仍能稳健识别相似的视频帧，证实其在基于视频的调查中的实用性。
• 成功构建并部署了容器化、基于 API 的参考实现，实现了跨平台可移植性，并可快速集成至现有法医系统。
• 从 git clone 到运行服务的整个部署流程可在二十分钟内完成，凸显执法机构的低入门门槛。
• 通过与宿主应用程序更紧密集成（如使用内存处理而非文件 I/O），性能有望显著提升，处理速度将大幅加快。
• 开源这些算法可促进更广泛的社区参与与演进，为非 CEM 使用场景提供可持续的替代方案，尤其相较于 PhotoDNA 等专有工具。