[論文レビュー] Learning to Break Deep Perceptual Hashing: The Use Case NeuralHash

Lukas Struppek, Dominik Hintersdorf+2 more|arXiv (Cornell University)|Nov 12, 2021

Digital Media Forensic Detection被引用数 15

ひとこと要約

この論文は、クライアント側で児童ポルノ素材（CSAM）を検出するための深層顔認識ハッシュシステムであるAppleのNeuralHashが、勾配ベースの攻撃および標準的な画像変換攻撃に対して極めて脆弱であることを示している。著者らは、攻撃者が画像を簡単に操作することで検出を回避したり、誤検出を引き起こしたりできることを示しており、システムの耐性およびプライバシー保証を損なっている。

ABSTRACT

Apple recently revealed its deep perceptual hashing system NeuralHash to detect child sexual abuse material (CSAM) on user devices before files are uploaded to its iCloud service. Public criticism quickly arose regarding the protection of user privacy and the system's reliability. In this paper, we present the first comprehensive empirical analysis of deep perceptual hashing based on NeuralHash. Specifically, we show that current deep perceptual hashing may not be robust. An adversary can manipulate the hash values by applying slight changes in images, either induced by gradient-based approaches or simply by performing standard image transformations, forcing or preventing hash collisions. Such attacks permit malicious actors easily to exploit the detection system: from hiding abusive material to framing innocent users, everything is possible. Moreover, using the hash values, inferences can still be made about the data stored on user devices. In our view, based on our results, deep perceptual hashing in its current form is generally not ready for robust client-side scanning and should not be used from a privacy perspective.

研究の動機と目的

• 実世界の事例としてAppleのNeuralHashを用いて、深層顔認識ハッシュシステムの耐性を実証的に分析すること。
• 敵対的および非敵対的画像操作が、顔認識ハッシュ出力を回避または操作可能かどうかを調査すること。
• 顔認識ハッシュに関連するプライバシーリスク、特にハッシュ値を通じた画像コンテンツの漏洩を評価すること。
• 無実のユーザーを陥れるか違法コンテンツを隠蔽できる可能性を秘めた衝突攻撃の実現可能性を評価すること。
• 現在の深層顔認識ハッシュ技術に内在する脆弱性およびプライバシーリスクを踏まえ、クライアント側スキャンシステムの導入に反対すること。

提案手法

• 実世界の画像データセットと敵対的摂動技術を用いてNeuralHashシステムの実証的分析を実施した。
• PGDなどの勾配ベース最適化手法を用い、画像出力を変更する微小で人間が認識できない摂動を生成した。
• 回転、スケーリング、明るさ調整などの非敵対的画像変換を検証し、耐性とハッシュ衝突の発生を評価した。
• 類義的な画像間でのハッシュ出力の類似度を分析することで、NeuralHashからの情報漏洩を評価した。
• 既知のCSAMハッシュの公開リポジトリを用いて、実世界の検出シナリオをシミュレートし、回避攻撃および衝突攻撃をテストした。
• 再現可能なフレームワークを実装・公開し、顔認識ハッシュシステムのさらなる分析を可能にした。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの攻撃は、CSAM画像の検出を回避するためにNeuralHash出力を効果的に操作できるか？
• RQ2 回転やクロッピングなどの標準的な画像変換が、NeuralHashでどの程度ハッシュ衝突を引き起こすか？
• RQ3 顔認識ハッシュ値を通じて、元の画像コンテンツについてどの程度の情報が漏洩しているか？
• RQ4 攻撃者は、既知のCSAMハッシュと一致または一致しない画像を信頼性高く生成できるか？
• RQ5 これらのシステムがユーザー端末に導入される場合、操作の可能性を鑑みるとき、どのような広範な影響が生じるか？

主な発見

• 勾配ベースの攻撃は、CSAM画像の検出を回避する高確率で成功した。
• 回転や明るさ調整といった単純な画像変換が頻繁にハッシュ衝突を引き起こし、耐性の低さを示した。
• 顔認識ハッシュから画像コンテンツに関する重要な情報が漏洩しており、短いビットストリングでも再識別可能または逆引き可能であることが示された。
• システムは、衝突攻撃（無実のユーザーを陥れる）およびプレイメージ攻撃（違法コンテンツを隠蔽）の両方に対して脆弱である。
• 著者らは、NeuralHashおよび類似システムが、これらの脆弱性を踏まえるとクライアント側への導入には耐えうるだけの耐久性や安全性が不足していると結論づけた。
• 本研究は、顔認識ハッシュに基づくクライアント側スキャンシステムが、現在の形では受け入れがたいプライバシーリスクを伴うとして、その導入を控えるべきであると強調している。