[論文レビュー] Light Can Hack Your Face! Black-box Backdoor Attack on Face Recognition Systems

Haoliang Li, Yufei Wang+6 more|arXiv (Cornell University)|Sep 15, 2020

Biometric Identification and Security参考文献 61被引用数 13

ひとこと要約

本論文は、CMOSセンサーのローリングシャッターメカニズムを活用して、データ収集中にトリガーを注入する、物理的に生成された色ストライプパターンを用いた顔認識システム向けの新規ブラックボックスバックドア攻撃を提案する。この攻撃は、最小限の仮定のもとで、シミュレーションで最大88%、実環境で40%の成功率を達成し、実世界の顔認識システムに実用的で、すばやく、隠れやすい脅威であることを示している。

ABSTRACT

Deep neural networks (DNN) have shown great success in many computer vision applications. However, they are also known to be susceptible to backdoor attacks. When conducting backdoor attacks, most of the existing approaches assume that the targeted DNN is always available, and an attacker can always inject a specific pattern to the training data to further fine-tune the DNN model. However, in practice, such attack may not be feasible as the DNN model is encrypted and only available to the secure enclave. In this paper, we propose a novel black-box backdoor attack technique on face recognition systems, which can be conducted without the knowledge of the targeted DNN model. To be specific, we propose a backdoor attack with a novel color stripe pattern trigger, which can be generated by modulating LED in a specialized waveform. We also use an evolutionary computing strategy to optimize the waveform for backdoor attack. Our backdoor attack can be conducted in a very mild condition: 1) the adversary cannot manipulate the input in an unnatural way (e.g., injecting adversarial noise); 2) the adversary cannot access the training database; 3) the adversary has no knowledge of the training model as well as the training set used by the victim party. We show that the backdoor trigger can be quite effective, where the attack success rate can be up to $88\%$ based on our simulation study and up to $40\%$ based on our physical-domain study by considering the task of face recognition and verification based on at most three-time attempts during authentication. Finally, we evaluate several state-of-the-art potential defenses towards backdoor attacks, and find that our attack can still be effective. We highlight that our study revealed a new physical backdoor attack, which calls for the attention of the security issue of the existing face recognition/verification techniques.

研究の動機と目的

• 攻撃者がモデル、トレーニングデータ、トレーニングプロセスを一切入手できない状況において、顔認識システムに対する実用的バックドア攻撃のギャップを埋めること。
• トレーニングデータやモデルアーキテクチャへのアクセスを必要とせず、物理的に実現可能で、すばやく、自然に見えるバックドアトリガーを開発すること。
• DNNの解釈から得られる一般的な視覚的特徴（色やエッジパターンなど）を活用して、効果的で自然に見えるトリガーを生成すること。
• 顔認識システムの実世界の制約、例えば防スプーフィング機構や最先端の防御対策を想定した状況下でも攻撃の有効性を評価すること。
• このような攻撃が既存の防御を回避できることを示し、顔認識システムにおける深刻なセキュリティ上の脆弱性を浮き彫りにすること。

提案手法

• 攻撃は、人間の目には見えないON-OFFキーイング（OOK）波形で変調されたLEDライトによって生成された色ストライプパターンをトリガーとして使用する。
• CMOSセンサーのローリングシャッター機構（画素がライン単位で順次スキャンされる）を活用し、画像撮影中に時間的変調を空間的ストライプとして抽出することで、トリガーを画像に注入する。
• 物理的制約下でバックドアの成功率を最大化するため、LED波形の最適化に進化的計算戦略を採用する。
• 攻撃はブラックボックス設定で実施される：攻撃者はモデル、トレーニングデータ、トレーニングプロセスにアクセスできないほか、敵対的ノイズや汚染データを直接挿入できない。
• ImageNetで学習されたDNNと顔認識にファインチューニングされたモデルに共通して存在する知識（例：色、エッジ検出）を活用することで、複数のモデルに効果的なトリガーを実現する。
• 最先端のDNNおよび商業用顔認識システムを用いて、シミュレーション環境および物理的環境の両方で攻撃を評価する。

実験結果

リサーチクエスチョン

• RQ1 モデル、トレーニングデータ、トレーニングプロセスにアクセスできない状況でも、顔認識システムにバックドアトリガーを効果的に注入できるか？
• RQ2 変調されたLEDライトによって生成された物理的色ストライプパターンが、すばやく、効果的なバックドアトリガーとして機能できるか？
• RQ3 環境的およびハードウェア的制約を考慮した実世界の物理的展開において、攻撃がどの程度成功するか？
• RQ4 画像のストライプ除去、スペクトル解析、モデルの改ざん防止技術（モデルラウンジング）といった最先端の防御対策に対して、攻撃はどの程度有効か？
• RQ5 自然なパターンを模倣するため、顔認識の防スプーフィング機構が、色ストライプパターンを不自然なパターンとして検出できないか？

主な発見

• 提案された攻撃は、最先端のDNNモデルを用いたシミュレーション評価で88%の成功率を達成した。
• 物理的環境下の実験では、最大3回の認証試行で40%の成功率を示し、実世界での実現可能性を裏付けた。
• 画像のストライプ除去（色ストライプ画像に対する攻撃成功率：79.76%）やモデルラウンジング技術を含む、複数の最先端防御に対しても攻撃は有効であった。
• LED波形の進化的最適化により、ローリングシャッターによるスキャン下でのトリガーの可視性が向上し、攻撃成功率が著しく向上した。
• 色ストライプパターンが環境光の変動を模倣しており、自然な外観であったため、顔認識の防スプーフィング機構を効果的に回避できた。
• 本研究は、特に信頼できない環境でトレーニングデータが収集される場合に顔認識システムに深刻な物理的バックドア脆弱性が存在することを明らかにした。