[論文レビュー] Robust Physical-World Attacks on Deep Learning Models

Kevin Eykholt, Ivan Evtimov+7 more|arXiv (Cornell University)|Jul 27, 2017

Adversarial Robustness in Machine Learning参考文献 39被引用数 506

ひとこと要約

本論文は Robust Physical Perturbations (RP2) を導入し、物理オブジェクトに対して視距離や角度が変化する下でDNNの標的型誤分類を引き起こす摂動を作成し、路標や他のオブジェクトに対するラボおよび現場試験で評価している。

ABSTRACT

Recent studies show that the state-of-the-art deep neural networks (DNNs) are vulnerable to adversarial examples, resulting from small-magnitude perturbations added to the input. Given that that emerging physical systems are using DNNs in safety-critical situations, adversarial examples could mislead these systems and cause dangerous situations.Therefore, understanding adversarial examples in the physical world is an important step towards developing resilient learning algorithms. We propose a general attack algorithm,Robust Physical Perturbations (RP2), to generate robust visual adversarial perturbations under different physical conditions. Using the real-world case of road sign classification, we show that adversarial examples generated using RP2 achieve high targeted misclassification rates against standard-architecture road sign classifiers in the physical world under various environmental conditions, including viewpoints. Due to the current lack of a standardized testing method, we propose a two-stage evaluation methodology for robust physical adversarial examples consisting of lab and field tests. Using this methodology, we evaluate the efficacy of physical adversarial manipulations on real objects. Witha perturbation in the form of only black and white stickers,we attack a real stop sign, causing targeted misclassification in 100% of the images obtained in lab settings, and in 84.8%of the captured video frames obtained on a moving vehicle(field test) for the target classifier.

研究の動機と目的

• 現実世界の動的な条件下で、物理的摂動がDNN分類器を信頼性高く誤導できることを示す。
• 距離・角度・照明の変化に頑健な摂動を生成するRP2の開発。
• 物理的敵対的事例のための2段階のラボと現場評価手法を提案。
• 標準的な路標分類器で摂動を評価し、他の物体への一般化を示す。

提案手法

• 距離・角度・照明といった物理変換の分布をモデル化し、摂動を最適化するために実データと合成変動をサンプリングして摂動を最適化する。
• マスク Mx を用いて摂動を標的オブジェクトの表面に制限し、Ti を介して摂動を投影してオブジェクトの変換に整合させる。
• 最適化目的関数に、プリンタの色再現誤差を考慮する Non-Printability Score (NPS) を組み込む。
• Mx·delta のLp正則化と変換されたインスタンスの期待を用いた緩和された目的関数を解いて摂動を最適化する: argmin_delta lambda||Mx·delta||p + NPS + E_{xi~XV} J(f_theta(xi + Ti(Mx·delta)), y*).
• ADAM 最適化を用い、信号停止標識上に白黒ステッカーまたは落書き風のポスターとして摂動を作成する。

実験結果

リサーチクエスチョン

• RQ1 実物对象に適用された摂動は、距離範囲と視角の幅にわたって標的型誤分類を引き起こすことができるか。
• RQ2 環境変動や製造上の制約下でも、表面に制約された頑健な摂動は有効性を維持するか。
• RQ3 ラボ（静止）と現場（走行時）のテストは、物理的敵対的摂動の評価においてどう比較されるか。
• RQ4 RP2 摂動は路標以外の他の分類器や物体へ転送可能か。
• RQ5 摂動のタイプ（ポスター対ステッカー）が攻撃の成功率と可視性に与える影響は何か。

主な発見

• RP2 摂動はLISA-CNNの静止 Stop signs に対して poster 攻撃で100%の標的成功を達成。
• ドライブバイ試験では、LISA-CNNでカモフラージュ風落書きによる84.8%、GTSRB-CNNで87.5%の標的成功を、ドライブバイフレームで示した。
• ラボ試験では、ポスターおよびステッカー攻撃が、距離40フィート、角度60度までの範囲で高い標的成功を示す。
• Inception-v3 では、ステッカー攻撃が電子レンジを電話機として誤分類させる標的成功率90%、コーヒーマグを現金機として誤分類させる71.4%を達成。
• GTSRB-CNN は静止テストで Stop と Speed Limit 80 の80%の標的成功、ドライブバイテストで87.5%を示す。
• このアプローチは路標以外の他の物体にも一般化され、画像分類器が頑健な物理的摂動に対して広く脆弱であることを示している。