[論文レビュー] Adversarial T-shirt! Evading Person Detectors in A Physical World

Kaidi Xu, Gaoyuan Zhang+7 more|arXiv (Cornell University)|Oct 18, 2019

Adversarial Robustness in Machine Learning参考文献 31被引用数 38

ひとこと要約

論文は Adversarial T-shirts の導入を行う。姿勢変化に適応して変形する非リジッド・TPSベースの物理攻撃で、YOLOv2 や Faster R-CNN の検出を回避し、ミニマックスのアンサンブル拡張を含む。

ABSTRACT

It is known that deep neural networks (DNNs) are vulnerable to adversarial attacks. The so-called physical adversarial examples deceive DNN-based decisionmakers by attaching adversarial patches to real objects. However, most of the existing works on physical adversarial attacks focus on static objects such as glass frames, stop signs and images attached to cardboard. In this work, we proposed adversarial T-shirts, a robust physical adversarial example for evading person detectors even if it could undergo non-rigid deformation due to a moving person's pose changes. To the best of our knowledge, this is the first work that models the effect of deformation for designing physical adversarial examples with respect to-rigid objects such as T-shirts. We show that the proposed method achieves74% and 57% attack success rates in the digital and physical worlds respectively against YOLOv2. In contrast, the state-of-the-art physical attack method to fool a person detector only achieves 18% attack success rate. Furthermore, by leveraging min-max optimization, we extend our method to the ensemble attack setting against two object detectors YOLO-v2 and Faster R-CNN simultaneously.

研究の動機と目的

• 現実世界の非静的条件下での人物検出の DNN のロバスト性評価を促進する。
• 非リジッドな布の変形にも効果を保つ物理的な敵対的ウェアラブルを開発する。
• 姿勢に起因する布の変化を捉える TPS ベースの変形モデルを提案する。
• 単一検出器とアンサンブル検出器攻撃のための普遍的摂動を設計する。
• デジタルおよび物理実験で複数の検出器に対して方法を評価する。

提案手法

• アフィン変換と非アフィンワープを組み合わせた薄板スプライン（TPS）トランスフォーマで布の変形をモデル化する。
• 制御点を検出し、フレーム間で TPS を整列させるためにチェッカーボードパターンを使用する。
• TPSと色変換の下で人物検出信頼度損失を最小化する Expectation over Transformation（EoT）ベースの最適化を定式化する。
• デジタル摂動を印刷可能なパターンに写像する色変換モデルを組み込む。
• 複数の検出器（YOLOv2 と Faster R-CNN）を同時に欺くためのミニマックス・アンサンブル最適化を適用する。

実験結果

リサーチクエスチョン

• RQ1 非リジッドに変形した衣服パターンが現実世界の現代的な人物検出器を一貫して欺くことができるか。
• RQ2 TPS ベースの変形を組み込むことは、単一および複数検出器に対する物理世界の攻撃成功にどのように影響するか。
• RQ3 複数検出器を攻撃する際、損失を平均化するよりもミニマックス・アンサンブル攻撃の方が有利なのか。
• RQ4 姿勢変化、距離、環境変化に対する敵対的Tシャツの頑健性はどれくらいか。
• RQ5 デジタルシミュレーションから実際のウェアラブルへの転移は可能か。

主な発見

• 敵対的Tシャツはデジタル空間で YOLOv2 に対して 74% の攻撃成功率（ASR）、物理空間で 57% の ASR を達成。
• Faster R-CNN に対しては、デジタルで 61%、物理で 47% の ASR。
• advPatch を基準とすると、敵対的Tシャツは ASR を大幅に改善（例：デジタルで YOLOv2 に対して 74% 対 24%）。
• TPS ベースの変形は重要であり、TPS を除去すると単一検出設定で YOLOv2 の ASR が 74% から 48%、Faster R-CNN の ASR が 61% から 34% に低下。
• ミニマックス・アンサンブル攻撃は Faster R-CNN を攻撃する際に平均化より ASR を最大約 15% 向上させる一方、YOLOv2 にはわずかなトレードオフ。
• 物理世界のテストでは、敵対的Tシャツは YOLOv2 に対して平均 57%、Faster R-CNN に対して平均 47% の ASR を indoor、outdoor、未知のシナリオを含む場面で達成。