[論文レビュー] Deep perceptual hashing algorithms with hidden dual purpose: when client-side scanning does facial recognition

Shubham Jain, Ana-Maria Creţu+2 more|arXiv (Cornell University)|May 22, 2023

Face recognition and analysis被引用数 2

ひとこと要約

この論文は、クライアント側スキャンシステムで使用されるディープな知覚ハッシュアルゴリズムが、法的な画像コピーの検出という主な機能を損なわせることなく、標的となる個人の顔認識を画期的に訓練可能であることを示している。著者らは、二重目的モデルが標的に対して67%の顔認識再現率を達成し、画像コピー検出において95%の正確性を維持することを示しており、敵対的訓練によって二次機能を隠し、データベースに1枚の汚染済み画像を追加することで有効化している。

ABSTRACT

End-to-end encryption (E2EE) provides strong technical protections to individuals from interferences. Governments and law enforcement agencies around the world have however raised concerns that E2EE also allows illegal content to be shared undetected. Client-side scanning (CSS), using perceptual hashing (PH) to detect known illegal content before it is shared, is seen as a promising solution to prevent the diffusion of illegal content while preserving encryption. While these proposals raise strong privacy concerns, proponents of the solutions have argued that the risk is limited as the technology has a limited scope: detecting known illegal content. In this paper, we show that modern perceptual hashing algorithms are actually fairly flexible pieces of technology and that this flexibility could be used by an adversary to add a secondary hidden feature to a client-side scanning system. More specifically, we show that an adversary providing the PH algorithm can “hide” a secondary purpose of face recognition of a target individual alongside its primary purpose of image copy detection. We first propose a procedure to train a dual-purpose deep perceptual hashing model by jointly optimizing for both the image copy detection and the targeted facial recognition task. Second, we extensively evaluate our dual-purpose model and show it to be able to reliably identify a target individual 67% of the time while not impacting its performance at detecting illegal content. We also show that our model is neither a general face detection nor a facial recognition model, allowing its secondary purpose to be hidden. Finally, we show that the secondary purpose can be enabled by adding a single illegal looking image to the database. Taken together, our results raise concerns that a deep perceptual hashing-based CSS system could turn billions of user devices into tools to locate targeted individuals.

研究の動機と目的

• クライアント側スキャン（CSS）で使用されるディープな知覚ハッシュ（PH）モデルが、特定の個人の顔認識に密かに再利用可能かどうかを調査すること。
• PHベースのCSSシステムを義務付けることで、敵が標的となる個人を特定できるというプライバシー上のリスクに対処すること。
• 二次的な顔認識機能をPHモデルに埋め込むことが、一般向け顔認識システムとはならずに可能かどうかを実証すること。
• データベースに1つの悪意ある画像を追加することで、隠れた顔認識機能を有効化できるかどうかを示すこと。
• 二重目的モデルの画像コピー検出および標的顔認識タスクにおける性能を評価すること。

提案手法

• 対照的損失とクロスバッチメモリを用いて、画像コピー検出と標的顔認識の両方を最適化するためのディープな知覚ハッシュモデルを訓練する。
• 潜在空間内の特定のコードブックベクトルに標的顔の埋め込みを一致させることで、隠れた顔認識能力を埋め込む専用の訓練手順を採用する。
• モデルが標的個人の顔を特定のハッシュ表現に関連付けるバックドアのようなメカニズムを導入し、主なタスクの一般化性能に影響を与えないようにする。
• 主な機能に変更を加えずに、二次的用途を可能にするために、訓練データセットに1枚の「汚染済み」画像を追加する。
• 画像コピー検出（正確性、再現率、F1スコア）および顔認識（再現率、100万件あたりの誤検出数、F1スコア）の標準指標を用いてモデルを評価する。
• 非標的個人および顔画像でない画像に対してテストすることで、モデルが一般顔検出器や顔認識システムとして機能しないことを確認する。

実験結果

リサーチクエスチョン

• RQ1 ディープな知覚ハッシュモデルは、画像コピー検出の高性能を維持しながら、標的顔認識を実行できるか？
• RQ2 PHモデルに一般向け顔認識システムとはならずに、隠れた顔認識機能を埋め込むことは可能か？
• RQ3 データベースに1つの悪意ある画像を追加するだけで、二次的な顔認識機能を有効化できるか？
• RQ4 二重目的モデルは、主な画像コピー検出タスクでどの程度の性能低下を示すか？
• RQ5 さまざまな訓練データサイズにおいて、隠れた顔認識機能は標的個人の特定にどの程度効果的か？

主な発見

• 100枚の訓練画像でトレーニングした場合、二重目的モデルは標的個人に対して67.2%の顔認識再現率を達成し、82.7件の誤検出/100万件であった。
• 画像コピー検出に関しては、95.8%の正確性と43.8%の再現率を維持しており、単一目的モデルと比較してほとんど劣化がない。
• 標的用の訓練画像を25枚に減らしても、顔認識性能は安定しており、34.7%の再現率を達成した。
• モデルは一般顔認識能力を示さず、非標的個人（非標的対象で0.3%の再現率）を検出できず、顔画像でない画像に対しても誤検出がなかった。
• 標的の不正な見た目を持つ1枚の画像をデータベースに追加するだけで、隠れた顔認識機能を有効化でき、検出されないまま大規模な監視が可能になる。
• 100枚の画像でトレーニングした場合、顔認識タスクにおけるF1スコアは51.2%であった。これは信頼できるが完璧ではない二次的機能であることを示している。