[論文レビュー] Data Poisoning Won't Save You From Facial Recognition

Evani Radiya-Dixit, Hong, Sanghyun+2 more|arXiv (Cornell University)|Jun 28, 2021

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文は、Fawkes や LowKey といったデータ汚染防御が、ユーザーが顔認識に対して保護を受けるのを提供するが、根本的に欠陥を抱えていることを示している。その理由は、一度汚染された画像がスクレイピングされると、それ以上更新できないという内在的な非対称性に起因する。これにより、モデルトレーナーは適応的トレーニングや将来のモデルを用いて防御を回避できる。主な結論として、これらの防御は将来のまたは適応的顔認識システムに対して効果がなく、ユーザーに誤った安心感を与えることになる。

ABSTRACT

Data poisoning has been proposed as a compelling defense against facial recognition models trained on Web-scraped pictures. Users can perturb images they post online, so that models will misclassify future (unperturbed) pictures. We demonstrate that this strategy provides a false sense of security, as it ignores an inherent asymmetry between the parties: users' pictures are perturbed once and for all before being published (at which point they are scraped) and must thereafter fool all future models -- including models trained adaptively against the users' past attacks, or models that use technologies discovered after the attack. We evaluate two systems for poisoning attacks against large-scale facial recognition, Fawkes (500'000+ downloads) and LowKey. We demonstrate how an "oblivious" model trainer can simply wait for future developments in computer vision to nullify the protection of pictures collected in the past. We further show that an adversary with black-box access to the attack can (i) train a robust model that resists the perturbations of collected pictures and (ii) detect poisoned pictures uploaded online. We caution that facial recognition poisoning will not admit an "arms race" between attackers and defenders. Once perturbed pictures are scraped, the attack cannot be changed so any future successful defense irrevocably undermines users' privacy.

研究の動機と目的

• データ汚染防御のセキュリティ保証が顔認識において果たす役割を調査すること。
• ユーザーが画像を汚染するのと、モデルトレーナーがそれに適応的に反応できるという根本的な非対称性を暴露すること。
• Fawkes や LowKey といった最先端の汚染システムが、将来のまたは適応的顔認識モデルに対して耐性を示すかどうかを評価すること。
• モデルトレーナーが攻撃のブラックボックスアクセスを用いて、汚染された画像の摂動を無効にする強固な顔認識モデルを訓練できることを示すこと。
• データ汚染が持続可能な対抗戦争を生まないし、プライバシー保護の根拠としては依存できないと主張すること。

提案手法

• ユーザー（攻撃者）とモデルトレーナー（防御者）の間の動的相互作用を形式化するためのセキュリティゲームを定義すること。
• Fawkes や LowKey の有効性を、既知の摂動に対して耐性を持つように再トレーニングする適応的トレーニング戦略に対して評価すること。
• 汚染攻撃へのブラックボックスアクセスを用いて、事前にスクレイピングされた画像の摂動に耐性を持つ強固な顔認識モデルを訓練すること。
• MagFace や CLIP を微調整したモデルといった、最新の顔認識モデルが、Fawkes や LowKey で使用される特定の摂動を自然に耐性することを示すこと。
• モデルトレーナーが、コンピュータビジョン分野の将来の進歩を待つだけで、過去にスクレイピングされたデータに対して、摂動を無視するモデルを後から再トレーニングできることを示すこと。
• 攻撃と防御の再現を可能にするコードを実装・公開し、検証およびさらなる研究を促進すること。

実験結果

リサーチクエスチョン

• RQ1 モデルトレーナーは、事後的に適応的トレーニング戦略を用いて、顔認識におけるデータ汚染防御を回避できるか？
• RQ2 Fawkes や LowKey といった最先端の汚染システムは、新しいアーキテクチャやトレーニング技術を用いる将来の顔認識モデルに対しても効果を発揮するか？
• RQ3 汚染手法へのブラックボックスアクセスのみを有するモデルトレーナーは、スクレイピング済み画像の摂動に耐性を持つモデルを訓練できるか？
• RQ4 顔認識におけるデータ汚染とモデル防御の間には持続可能な対抗戦争が成立するか？
• RQ5 現在のデータ汚染防御は、ユーザーに対してどれほど誤った安心感を与えるか？

主な発見

• Fawkes の汚染攻撃は、Fawkes 発表後にリリースされた MagFace モデルに対しては効果がなかった。MagFace はその特定の摂動を内蔵的に耐性している。
• LowKey の汚染攻撃は、LowKey 発表と同月にリリースされた OpenAI の CLIP から微調整された顔認識モデルに対しては失敗した。
• モデルトレーナーは、汚染手法へのブラックボックスアクセスのみを用いても、強固なモデルを訓練でき、ユーザーが摂動を加えた画像が提供する保護を効果的に無効化できる。
• 「無知な」モデルトレーナーは、コンピュータビジョン分野の将来の進歩を待つだけで、過去にスクレイピングされたデータに対して、摂動を無視するモデルを後から再トレーニングできる。
• 本論文では、画像スクレイピングの不可逆性と、トレーナーの適応能力に起因し、データ汚染が長期的なプライバシー保護を提供できないことを示している。
• 著者らは、データ汚染は実用的な防御手段ではなく、顔認識の法的規制こそがプライバシー保護の持続可能な道筋であると結論づけている。