[論文レビュー] FaceHack: Triggering backdoored facial recognition systems using facial characteristics

Esha Sarkar, Hadjer Benkraouda+1 more|arXiv (Cornell University)|Jun 20, 2020

Face recognition and analysis被引用数 9

ひとこと要約

この論文では、表情、フィルター、筋肉の動きといった自然かつ人工的な顔の特徴を、大規模で文脈的に見えにくいトリガーとして用いる、顔認識システムに対する新たなバックドア攻撃であるFaceHackを紹介する。従来の小さな静的トリガーとは異なり、これらの動的で画像全体にわたる変更は、最先端の防御を回避しつつも、高い攻撃成功率とモデルの正確性を維持する。

ABSTRACT

Recent advances in Machine Learning (ML) have opened up new avenues for its extensive use in real-world applications. Facial recognition, specifically, is used from simple friend suggestions in social-media platforms to critical security applications for biometric validation in automated immigration at airports. Considering these scenarios, security vulnerabilities to such ML algorithms pose serious threats with severe outcomes. Recent work demonstrated that Deep Neural Networks (DNNs), typically used in facial recognition systems, are susceptible to backdoor attacks; in other words,the DNNs turn malicious in the presence of a unique trigger. Adhering to common characteristics for being unnoticeable, an ideal trigger is small, localized, and typically not a part of the main im-age. Therefore, detection mechanisms have focused on detecting these distinct trigger-based outliers statistically or through their reconstruction. In this work, we demonstrate that specific changes to facial characteristics may also be used to trigger malicious behavior in an ML model. The changes in the facial attributes maybe embedded artificially using social-media filters or introduced naturally using movements in facial muscles. By construction, our triggers are large, adaptive to the input, and spread over the entire image. We evaluate the success of the attack and validate that it does not interfere with the performance criteria of the model. We also substantiate the undetectability of our triggers by exhaustively testing them with state-of-the-art defenses.

研究の動機と目的

• 顔認識システムが、顔の特徴をトリガーとして用いるバックドア攻撃に対してどれほど脆弱であるかを調査すること。
• 大がかりで適応的かつ文脈的に隠蔽されたトリガーを設計し、従来の検出手法では検出できないようにすること。
• これらのトリガーが最先端のバックドア防御機構を効果的に回避できるかを評価すること。
• 顔の特徴を自然的または人工的に操作することで、モデルの性能を損なわせずに悪意ある行動を引き起こせることを示すこと。
• バックドア攻撃に小型で局所的なトリガーしか使用できないという仮定に挑戦し、大規模で分散型のトリガーが同様に効果的かつ検出不能であることを示すこと。

提案手法

• 表情、化粧、SNSのフィルターなど、自然または人工的に入力画像に適用される顔の特徴に基づいたトリガーを設計する。
• 標準の顔認識データセットで訓練された深層ニューラルネットワーク（DNN）を用い、顔の特徴に基づくトリガーで訓練データを変更することでバックドアを注入する。
• 自然な顔の変異と画像類似度メトリクス（pHash、dHash）を活用することで、トリガーを大規模（画像面積の最小約77％）かつ文脈的に見えにくくする。
• クリーンなデータに対して高い分類正確性を維持するとともに、トリガー付きのサンプルで高い攻撃成功確率（ASR）を達成するようにモデルを訓練する。
• 人工的および自然的トリガーを用いて、Neural Cleanse、STRIP、ABS、NNoculation の複数の最先端防御機構に対して、バックドアモデルの評価を行う。
• 最終層の直前におけるニューロン活性化パターンを分析し、複数のニューロンがバックドア行動に対して活性化されていることを確認することで、複雑で非自明なトリガーの関与を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 表情や化粧といった顔の特徴を、顔認識システムにおける効果的で大規模なトリガーとして用いることは可能か？
• RQ2 これらの顔の特徴に基づくトリガーは、既存の最先端のバックドア防御機構からどれほど効果的に検出を回避できるか？
• RQ3 自然または人工的な顔の変更を用いることで、従来の小さな静的トリガーと比較して攻撃成功確率とモデル正確性にどのような影響を与えるか？
• RQ4 顔全体に分散し、文脈的に隠蔽されたトリガーですら、DNNにおける悪意ある行動の発動に効果的であるか？
• RQ5 大がかりで適応的かつ文脈的に見えにくい顔のトリガーに対して、現在の防御機構にどのような限界があるか？

主な発見

• 提案された顔の特徴に基づくトリガーは、すべての評価対象モデルで95％を超える攻撃成功確率（ASR）を達成しており、トリガーが大規模で文脈的に隠蔽されていても同様に有効である。
• pHashおよびdHash類似度スコアから、人工的トリガーが極めて見えにくく、元の画像と視覚的差異が最小限であることが確認された。
• 自然なトリガー（表情や筋肉の動き）は本質的に見えにくく、外部からの操作を要せずとも効果を発揮する。
• 評価されたすべての最先端防御機構（Neural Cleanse、STRIP、ABS、NNoculation）は、顔の特徴に基づくトリガーによる攻撃に対して、バックドア行動を検出または緩和できなかった。
• 最終層直前の活性化パターンの分析から、悪意あるサンプルに対して複数のピークが観察された。これは、バックドアが単一のニューロンに依存しているのではなく、複雑で非自明なトリガーの関与を示しており、検出が困難であることを裏付ける。
• NNoculationは第一段階で失敗した。検証データに最大60％のノイズを加えても、ASRを10％未満に抑えることができず、この大がかりで適応的なトリガーに対して防御が無効であることが示された。