[論文レビュー] Am I a Real or Fake Celebrity? Measuring Commercial Face Recognition Web APIs under Deepfake Impersonation Attack

Shahroz Tariq, Sowon Jeon+1 more|arXiv (Cornell University)|Mar 1, 2021

Adversarial Robustness in Machine Learning参考文献 30被引用数 16

ひとこと要約

本稿では、マイクロソフト、アマゾン、ナバーの商用コマーシャル・フェイス認識APIのDeepfakeインパーソネーション（DI）攻撃に対する脆弱性を、5つのディープフェイクデータセット（うち2つは新たに作成）を用いて評価する。非標的な状況では、攻撃成功確率が最大99.9％に達することを示し、標的攻撃では0.02％まで低下させる防御機構を提案。

ABSTRACT

Recently, significant advancements have been made in face recognition technologies using Deep Neural Networks. As a result, companies such as Microsoft, Amazon, and Naver offer highly accurate commercial face recognition web services for diverse applications to meet the end-user needs. Naturally, however, such technologies are threatened persistently, as virtually any individual can quickly implement impersonation attacks. In particular, these attacks can be a significant threat for authentication and identification services, which heavily rely on their underlying face recognition technologies' accuracy and robustness. Despite its gravity, the issue regarding deepfake abuse using commercial web APIs and their robustness has not yet been thoroughly investigated. This work provides a measurement study on the robustness of black-box commercial face recognition APIs against Deepfake Impersonation (DI) attacks using celebrity recognition APIs as an example case study. We use five deepfake datasets, two of which are created by us and planned to be released. More specifically, we measure attack performance based on two scenarios (targeted and non-targeted) and further analyze the differing system behaviors using fidelity, confidence, and similarity metrics. Accordingly, we demonstrate how vulnerable face recognition technologies from popular companies are to DI attack, achieving maximum success rates of 78.0% and 99.9% for targeted (i.e., precise match) and non-targeted (i.e., match with any celebrity) attacks, respectively. Moreover, we propose practical defense strategies to mitigate DI attacks, reducing the attack success rates to as low as 0% and 0.02% for targeted and non-targeted attacks, respectively.

研究の動機と目的

• 商用フェイス認識Web APIのディープフェイクインパーソネーション攻撃に対する耐性を、有名人認識を事例として評価すること。
• 異なるディープフェイク生成手法が、標的および非標的攻撃シナリオにおける商用APIの性能に与える影響を調査すること。
• 忠実度、信頼度、類似度の指標を用いて、APIの挙動を分析し、ディープフェイク入力に対する応答の理解を深めること。
• 攻撃成功確率を著しく低下させる実用的な防御機構を提案するとともに、本物の顔認識の正確性を維持すること。
• フェイス認識技術の実世界応用におけるディープフェイクが引き起こすセキュリティおよびプライバシーのリスクを啓発すること。

提案手法

• 最先端のGANベース手法を用いて、2つの新しいディープフェイクデータセットを構築。加えて、3つの既存のベンチマークデータセットも使用。
• ディープフェイク画像を入力として、マイクロソフト、アマゾン、ナバーの有名人認識APIに対してブラックボックス攻撃を実施。
• 2つのシナリオ（標的：特定の有名人に一致、非標的：任意の有名人に一致）における攻撃パフォーマンスを評価。
• 忠実度（画像品質）、信頼度（APIの予測スコア）、類似度（特徴ベクトルのコサイン類似度）の3つの指標を用いて、システム挙動を測定。
• 異常検出と特徴空間解析に基づく防御機構を設計し、本物の顔とディープフェイクを区別する。
• REST APIパイプラインに防御機構を統合し、受信する顔認識リクエストをリアルタイムで本物または偽物に分類可能にする。

実験結果

リサーチクエスチョン

• RQ1 標的および非標的シナリオにおいて、商用有名人顔認識APIはディープフェイクインパーソネーション攻撃に対してどれほど脆弱であるか？
• RQ2 異なるディープフェイク生成手法は、商用APIに対するインパーソネーション攻撃の成功率にどのように影響するか？
• RQ3 信頼度、類似度、忠実度の指標で測定した場合、商用APIがディープフェイク入力を処理する際の特徴的な挙動パターンは何か？
• RQ4 本物の顔認識性能を損なわせることなく、攻撃成功確率を著しく低下させる実用的な防御機構を設計できるか？
• RQ5 同じディープフェイク入力に対して、異なる商用API（マイクロソフト、アマゾン、ナバー）の応答はどのように異なるか？

主な発見

• 非標的インパーソネーション攻撃において、1つの商用APIで最大99.9％の攻撃成功確率を達成。深刻な脆弱性を示している。
• 標的攻撃では、最大78.0％の成功確率に達しており、特定の有名人を正確に模倣することは依然として極めて容易であることが示された。
• ナバーAPIはディープフェイクに対して最も感受性が高かったが、マイクロソフトとアマゾンは、ディープフェイク生成手法に応じて耐性の程度が変動した。
• 提案された防御機構により、標的攻撃では攻撃成功確率が0.02％まで低下し、非標的攻撃では0％にまで低下した。強力な緩和能力を示した。
• ディープフェイクでは本物の顔と比較して、忠実度と信頼度スコアが顕著に低く、API応答に検出可能な統計的乖離が存在することが示された。
• 本研究では、ディープフェイク生成手法が認識システムを回避する能力に差があることが確認され、一部のGANベース手法は他の手法よりもはるかに効果的であることが分かった。