[論文レビュー] Fawkes: Protecting Personal Privacy against Unauthorized Deep Learning Models

Shawn Shan, Emily Wenger+4 more|arXiv (Cornell University)|Feb 19, 2020

Adversarial Robustness in Machine Learning参考文献 33被引用数 14

ひとこと要約

Fawkesは、個人の写真に人間が認識できないピクセル単位の「カモフラージュ」を注入することで、不正な顔認識モデルからの識別を防ぐプライバシー保護システムである。このカモフラージュにより、訓練済みの顔認識モデルはユーザーを誤って識別するようになり、モデル推論に対して95％以上の保護効果を発揮し、クリーンな画像が漏洩した場合でも80％の成功率を示す。さらに、最新の最先端サービスに対しても100％の効果を発揮する。

ABSTRACT

Today's proliferation of powerful facial recognition systems poses a real threat to personal privacy. As this http URL demonstrated, anyone can canvas the Internet for data and train highly accurate facial recognition models of individuals without their knowledge. We need tools to protect ourselves from potential misuses of unauthorized facial recognition systems. Unfortunately, no practical or effective solutions exist. In this paper, we propose Fawkes, a system that helps individuals inoculate their images against unauthorized facial recognition models. Fawkes achieves this by helping users add imperceptible pixel-level changes (we call them cloaks) to their own photos before releasing them. When used to train facial recognition models, these cloaked images produce functional models that consistently cause normal images of the user to be misidentified. We experimentally demonstrate that Fawkes provides 95+% protection against user recognition regardless of how trackers train their models. Even when clean, uncloaked images are leaked to the tracker and used for training, Fawkes can still maintain an 80+% protection success rate. We achieve 100% success in experiments against today's state-of-the-art facial recognition services. Finally, we show that Fawkes is robust against a variety of countermeasures that try to detect or disrupt image cloaks.

研究の動機と目的

• 公開済みの画像から学習された不正な顔認識モデルの増加する脅威に対処すること。
• 既存の顔認識システムの変更を要しない、実用的でユーザー主導の防御メカニズムを開発すること。
• カモフラージュされた画像が正当な用途に使用可能である一方で、不正なモデルの性能を著しく低下させること。
• 攻撃者によるカモフラージュの検出や削除を防ぐ強靭性を確保すること。

提案手法

• ユーザーは、公開共有の前に個人の画像に人間が認識できないピクセル単位の摂動（「カモフラージュ」と呼ぶ）を適用する。
• カモフラージュされた画像を用いて顔認識モデルを訓練し、その後、クリーンでカモフラージュされていない画像が提示された際にユーザーを誤って識別させるようにする。
• カモフラージュ処理は人間の観察者には検出できず、一般的な画像変換に対しても耐性を持つように設計されている。
• カモフラージュされた画像が意味的に妥当であり、ソーシャルメディアなどの通常のアプリケーション用途でも使用可能であることを保証する。
• Fawkesは、バックドアを埋め込むモデル汚染技術を活用し、ユーザーのクリーンなテスト画像に対してのみ誤分類を引き起こすようにする。
• カモフラージュの検出や識別を目的としたさまざまな画像前処理および攻撃者検出技術に対しても、この手法は耐性を示す。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが自分の画像を変更することで、正当な用途に影響を与えることなく、不正な顔認識モデルの性能を著しく低下させることができるか？
• RQ2 カモフラージュ技術は、多様な訓練および推論環境において、高い誤識別率を維持できるか？
• RQ3 攻撃者が同じデータセットからクリーンでカモフラージュされていない画像を用いてモデルを再訓練した場合でも、Fawkesは保護を維持できるか？
• RQ4 攻撃者がカモフラージュパターンの検出や削除を試みる際、カモフラージュ機構はどれほど耐性を示すか？
• RQ5 Fawkesは、最新の商業的顔認識サービスに対しても高い性能を発揮するか？

主な発見

• Fawkesは、全テスト対象の顔認識モデルの訓練シナリオにおいて、ユーザー識別に対して95％以上の保護効果を発揮した。
• 攻撃者が訓練データにクリーンでカモフラージュされていない画像を含めても、Fawkesはユーザーの誤識別率を80％以上に維持した。
• Fawkesは、現在の最先端の顔認識サービスに対してテストした結果、100％の効果を示した。
• カモフラージュパターンの検出や削除を目的としたさまざまな対策に対しても、Fawkesは強靭性を示した。
• カモフラージュ技術は人間には認識不可能であり、画像の視覚的品質や使用性を損なわない。