[論文レビュー] Design and Interpretation of Universal Adversarial Patches in Face Detection

Xiao Yang, Fangyun Wei+2 more|arXiv (Cornell University)|Nov 30, 2019

Adversarial Robustness in Machine Learning参考文献 48被引用数 5

ひとこと要約

本稿では、顔に似た外観を呈することで、最先端の顔検出器を抑制する最適化ベースの手法を提案する。これにより、偽陽性を低減しつつも高い攻撃成功率を維持する。本手法はスケール、位置、検出フレームワークにわたって優れた転送性と耐性を示し、WIDER FACEおよびFDDBデータセットにおいて精度/再現率性能が顕著に低下する。

ABSTRACT

We consider universal adversarial patches for faces -- small visual elements whose addition to a face image reliably destroys the performance of face detectors. Unlike previous work that mostly focused on the algorithmic design of adversarial examples in terms of improving the success rate as an attacker, in this work we show an interpretation of such patches that can prevent the state-of-the-art face detectors from detecting the real faces. We investigate a phenomenon: patches designed to suppress real face detection appear face-like. This phenomenon holds generally across different initialization, locations, scales of patches, backbones, and state-of-the-art face detection frameworks. We propose new optimization-based approaches to automatic design of universal adversarial patches for varying goals of the attack, including scenarios in which true positives are suppressed without introducing false positives. Our proposed algorithms perform well on real-world datasets, deceiving state-of-the-art face detectors in terms of multiple precision/recall metrics and transferability.

研究の動機と目的

• 本稿の目的は、偽陽性を引き起こさずに、顔検出器の真陽性検出を確実に抑制する普遍的 adversarial パッチを開発することである。
• 顔検出用 adversarial パッチが、意図的に顔に似せることを目的としていなくても、なぜしばしば顔に似た外観を呈するのかを調査することである。
• 攻撃効果と解釈可能性、および偽陽性の最小化のバランスを取るパッチ最適化手法を設計することである。
• 異なる顔検出モデル、スケール、位置におけるパッチの転送性を評価することである。
• 顔検出器との関連において、パッチの視覚的・構造的性質を分析することで、adversarial パッチの解釈可能性を提供することである。

提案手法

• 真陽性検出の抑制を優先し、偽陽性反応を最小限に抑えるために、Patch-Score-Focal および Patch-Combination の最適化目的関数を提案する。
• 入力画像に依存しない普遍的パッチ定式化を採用し、多様な顔画像上でエンドツーエンド最適化により訓練する。
• トレーニング中にハード例とイージー例のバランスを取るために、IoU抑制とファーコス損失を組み合わせた微分可能損失関数を適用する。
• データ拡張およびマルチスケールトレーニングを用いることで、adversarial パッチの耐性および転送性を向上させる。
• 複数の顔検出フレームワーク（例：RetinaNet、SSD）およびバックボーン（ResNet、ResNeXt）におけるパッチ性能を評価する。
• 攻撃効果と解釈可能性を向上させるために、顔に似たパターンを活用したパッチ初期化戦略を導入する。

実験結果

リサーチクエスチョン

• RQ1 顔検出を妨害することを目的として設計された adversarial パッチが、意図的に顔に似せるように訓練されていなくても、なぜしばしば顔に似た外観を呈するのか？
• RQ2 顔検出器において、偽陽性を誘発せずに真陽性検出を抑制する普遍的 adversarial パッチを設計できるか？
• RQ3 パッチのスケールと配置が、最先端の検出器における普遍的 adversarial パッチの成功率にどのように影響するか？
• RQ4 これらの adversarial パッチが、異なる顔検出モデルやアーキテクチャにわたってどの程度一般化するか？
• RQ5 パッチの視覚的構造と、検出器の信頼度スコアを攪乱する効果との間に、どのような関係があるか？

主な発見

• Patch-Score-Focal および Patch-Combination 法は、フルスケールパッチ設定下で WIDER FACE の 'All' スプリットにおいて 99.2% の精度と 9.2% の再現率を達成し、真陽性を顕著に抑制した。
• 元サイズの 60% に縮小した場合、Patch-Combination 法は 'All' スプリットで 99.4% の精度と 17.2% の再現率を維持し、サイズ変動に対して高い耐性を示した。
• 顔の下部に配置したパッチは 'All' スプリットで 98.8% の精度と 10.7% の再現率を達成し、配置が性能に影響を与えるものの、効果は消失しなかった。
• Patch-Score-Focal 法は、ベースラインの Patch-IoU に比べて偽陽性を低減した。Patch-IoU は 'All' スプリットで 22.4% の偽陽性を誘発した。
• adversarial パッチは強い転送性を示した。ResNet-101 では、Patch-Score-Focal 法が 'Hard' スプリットで 99.3% の精度と 15.6% の再現率を達成し、モデル間の耐性が裏付けられた。
• パッチが顔に似た外観を呈する現象は、異なるバックボーン、初期化手法、スケール、検出フレームワークにわたって一貫しており、検出器行動の根本的性質であると考えられる。