[論文レビュー] Robust Physical Hard-Label Attacks on Deep Learning Visual Classification

Ryan Feng, Jiefeng Chen+3 more|arXiv (Cornell University)|Feb 17, 2020

Adversarial Robustness in Machine Learning参考文献 31被引用数 5

ひとこと要約

GRAPHITE は、深層学習の視覚分類器に対する物理的でハードラベルの攻撃を初めて実現したアルゴリズムであり、生存性（物理的耐性のなめらかな代理関数）を用いて、勾配フリー最適化により小さな効果的なステッカーを最適化する。クエリアクセスのみで実行可能な実世界のテストでは、ストップマークを30 km/hの速度制限標識に誤分類する成功率が95.7%に達し、ALPRシステムでは75%の誤り率を示した。

ABSTRACT

The physical, black-box hard-label setting is arguably the most realistic threat model for cyber-physical vision systems. In this setting, the attacker only has query access to the model and only receives the top-1 class label without confidence information. Creating small physical stickers that are robust to environmental variation is difficult in the discrete and discontinuous hard-label space because the attack must both design a small shape to perturb within and find robust noise to fill it with. Unfortunately, we find that existing $\ell_2$ or $\ell_\infty$ minimizing hard-label attacks do not easily extend to finding such robust physical perturbation attacks. Thus, we propose GRAPHITE, the first algorithm for hard-label physical attacks on computer vision models. We show that survivability, an estimate of physical variation robustness, can be used in new ways to generate small masks and is a sufficiently smooth function to optimize with gradient-free optimization. We use GRAPHITE to attack a traffic sign classifier and a publicly-available Automatic License Plate Recognition (ALPR) tool using only query access. We evaluate both tools in real-world field tests to measure its physical-world robustness. We successfully cause a Stop sign to be misclassified as a Speed Limit 30 km/hr sign in 95.7% of physical images and cause errors in 75% of physical images for the ALPR tool.

研究の動機と目的

• 上位1クラスのラベルのみが入手可能なハードラベル、ブラックボックス設定において、物理的に耐性のある小さな摂動を生成するという課題に対処すること。
• 照明、角度、距離などの環境変化に耐える物理的ステッカーを効果的に生成する手法を開発すること。
• 従来の ℓ₂ や ℓ∞-ベースのハードラベル攻撃が物理世界での耐性に一般化できないという限界を克服すること。
• 実装済みの視覚システム、たとえば交通標識分類器やALPRツールに対する物理的攻撃の実世界での有効性を評価すること。

提案手法

• 物理的耐性のなめらかな微分可能代理関数としての生存性を導入し、離散的なハードラベル空間内での最適化を可能にする。
• 勾配フリー最適化を用いて、環境変動下での誤分類を最大化する小さな効果的なステッカーの形状やノイズパターンを探索する。
• モデルのアーキテクチャや勾配情報が不要なクエリアクセスを活用し、反復的にステッカー設計を最適化する。
• 多様な物理的条件下で誤分類を誘発するように最適化された、小さな離散的マスクを設計する。
• 実世界への展開を実現するため、照明、角度、距離の変化する条件下で交通標識やナンバープレートにステッカーをテストする。

実験結果

リサーチクエスチョン

• RQ1 生存性は、ハードラベル攻撃最適化における物理的耐性のなめらかで微分可能な代理関数として適切に機能するか？
• RQ2 勾配フリー最適化は、現実世界で深層学習モデルをだます物理的で耐性のある小さなステッカーを効果的に生成できるか？
• RQ3 ハードラベルの物理的攻撃は、現実世界の視覚システム（交通標識分類器やALPRツールなど）に対してどれほど効果的か？
• RQ4 環境変動下におけるこのような攻撃の物理的実世界での成功率はどの程度か？

主な発見

• GRAPHITE は、実世界の物理的画像においてストップマークを30 km/hの速度制限標識に誤分類する成功率が95.7%に達した。
• 公開の自動ナンバープレート認識（ALPR）ツールを用いたテストでは、物理的画像の75%で誤りを誘発した。
• 生存性は、ハードラベルで離散的な空間内での効果的な勾配フリー最適化を可能にするのに十分に滑らかな関数であることが示された。
• 実世界での展開において、照明、角度、距離などの環境変動に対して本手法が耐性を示した。
• 従来の ℓ₂ および ℓ∞-ベースのハードラベル攻撃は、物理的耐性のある摂動を生成するには不十分であることが判明し、新たな最適化戦略の必要性が浮き彫りになった。