[論文レビュー] PDQ & TMK + PDQF -- A Test Drive of Facebook's Perceptual Hashing Algorithms

Janis Dalins, Campbell Wilson+1 more|arXiv (Cornell University)|Dec 16, 2019

Video Surveillance and Tracking Methods参考文献 5被引用数 5

ひとこと要約

この論文は、法務省の文書調査における改変済み画像および動画の検出を目的として、フェイスブックが公開しているパーリプティカルハッシングアルゴリズムPDQおよびTMK+PDQFを評価している。実際のAFP調査データを用いて、透かしやフォーマット変換が施されたコンテンツなど、視認的に類似したが改変されたコンテンツの検出における有効性を示しており、既存のフォレンジックワークフローへのシームレスな統合を可能にする、コンテナ化されAPIアクセス可能なリファレンス実装を提供している。

ABSTRACT

Efficient and reliable automated detection of modified image and multimedia files has long been a challenge for law enforcement, compounded by the harm caused by repeated exposure to psychologically harmful materials. In August 2019 Facebook open-sourced their PDQ and TMK + PDQF algorithms for image and video similarity measurement, respectively. In this report, we review the algorithms' performance on detecting commonly encountered transformations on real-world case data, sourced from contemporary investigations. We also provide a reference implementation to demonstrate the potential application and integration of such algorithms within existing law enforcement systems.

研究の動機と目的

• 実際の法務省調査で見られる、視認的に類似したが改変された画像および動画を検出するための、フェイスブックのPDQおよびTMK+PDQFアルゴリズムの耐性を評価すること。
• 従来の暗号的ハッシュ法では不十分なため、改変済みコンテンツの検出に失敗し、調査官が心理的に有害な素材を繰り返し曝す問題に対処すること。
• 標準化されたコンテナ化API実装を通じて、パーリプティカルハッシングを既存の法務省デジタルフォレンジックシステムに統合する可能性と実用性を実証すること。
• アルゴリズムのポータブルでアクセス可能かつ拡張可能なリファレンス実装を提供することで、法務省機関（LEAs）における技術的・展開的障壁を低減すること。
• 生産環境で使用可能な相互運用性のあるサービススタックをオープンソース化することで、パーリプティカルハッシングツールの広範な採用とコミュニティ主導の開発を促進すること。

提案手法

• オーストラリア連邦警察（AFP）の調査から得た実際の画像および動画サンプルにPDQおよびTMK+PDQFアルゴリズムを適用し、リサイズ、クロッピング、フォーマット変換、透かしの埋め込みなどの変換を含む。
• パーリプティカルハッシュ間の類似度としてハミング距離を用い、類似性を示すための閾値は30以下とした。
• Dockerを用いて、RESTful APIを通じてPDQおよびTMK+PDQFアルゴリズムを公開するコンテナ化マイクロサービスを構築し、既存のフォレンジックツールとの統合を可能にした。
• オープンソースのThreatExchangeリポジトリのコードベースを活用し、Pythonスクリプトを用いてテスト自動化およびハッシュ生成のためのリファレンス実装を構築した。
• *nixおよびmacOS環境を想定した、異種システムへのコンテナ化によるデプロイを実施し、将来的には.NETラッパーを用いてWindows対応を計画している。
• スケーラブルな類似検索のバックエンド検索エンジンとしてFaissを採用しており、TMKベースの画像検索サービスの開発も進行中である。

実験結果

リサーチクエスチョン

• RQ1 実際の調査で見られる一般的な変換状況（リサイズ、クロッピング、フォーマット変換、透かし埋め込みなど）下で、PDQおよびTMK+PDQFは視認的に類似したが改変された画像および動画をどれほど効果的に検出できるか？
• RQ2 PDQおよびTMK+PDQFのようなパーリプティカルハッシュ法は、法務省職員が既知の有害コンテンツを繰り返し曝すのを顕著に減らすことができるか？
• RQ3 標準化されたコンテナ化APIを通じて、既存の法務省デジタルフォレンジックワークフローへのパーリプティカルハッシングツールの実用的導入可能性はどの程度か？
• RQ4 精度、スケーラビリティ、統合の容易さという観点から、オープンソース実装はPhotoDNAのような商業的代替品と比較してどの程度のパフォーマンスを示すか？
• RQ5 法務省におけるパーリプティカルハッシングの採用に際しての主な技術的・組織的障壁は何か、そしてそれらをオープンソース協働開発とツールチェーンを通じてどのように軽減できるか？

主な発見

• PDQは、リサイズ、クロッピング、フォーマット変換（例：JPGからPNG）および透かし埋め込みといった一般的な変換に対しても、類似画像を的確に検出でき、類似性の閾値である30未満のハミング距離が一貫して維持された。
• TMK+PDQFパイプラインは、解像度の変更、圧縮、フレームレートの変更に対しても、類似した動画フレームを効果的に同定でき、動画ベースの調査における実用性を裏付けた。
• コンテナ化されAPIベースのリファレンス実装が正常に構築およびデプロイされ、クロスプラットフォームでのポータビリティと既存のフォレンジックシステムへの迅速な統合を可能にした。
• git cloneからサービス実行までのデプロイスタック全体を20分未満で完了でき、LEAsにとっての導入障壁が極めて低いことを示した。
• ホストアプリケーションとの統合を深めることで、ファイルI/Oではなくメモリ内処理を採用することで、速度の大幅な向上が期待できる。
• これらのアルゴリズムをオープンソース化することで、コミュニティによる貢献と進化が可能となり、とりわけ非-CEM用途において、PhotoDNAのような商業的ツールの持続可能な代替手段を提供する。