[論文レビュー] Adversarial Attack with Raindrops

Jiyuan Liu, Bingyi Lu+3 more|arXiv (Cornell University)|Feb 28, 2023

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

この論文は AdvRD を紹介します。GAN ベースの手法で実在する雨滴に似た adversarial 雨滴画像を生成し、DNNs を攻撃します。AdvRD による adversarial training は実世界の雨滴攻撃に対する頑健性を向上させます。

ABSTRACT

Deep neural networks (DNNs) are known to be vulnerable to adversarial examples, which are usually designed artificially to fool DNNs, but rarely exist in real-world scenarios. In this paper, we study the adversarial examples caused by raindrops, to demonstrate that there exist plenty of natural phenomena being able to work as adversarial attackers to DNNs. Moreover, we present a new approach to generate adversarial raindrops, denoted as AdvRD, using the generative adversarial network (GAN) technique to simulate natural raindrops. The images crafted by our AdvRD look very similar to the real-world raindrop images, statistically close to the distribution of true raindrop images, and more importantly, can perform strong adversarial attack to the state-of-the-art DNN models. On the other side, we show that the adversarial training using our AdvRD images can significantly improve the robustness of DNNs to the real-world raindrop attacks. Extensive experiments are carried out to demonstrate that the images crafted by AdvRD are visually and statistically close to the natural raindrop images, can work as strong attackers to DNN models, and also help improve the robustness of DNNs to raindrop attacks.

研究の動機と目的

• 自然現象である雨滴が DNN に対する adversarial 攻撃者になり得ることを実証する。
• 現実の雨滴に見える adversarial raindrop 画像を視覚的・統計的に現実的に合成する AdvRD を提案する。
• AdvRD によって攻撃されたモデルが AdvRD サンプルを用いた adversarial training を通じて頑健性を得られることを示す。
• 複数のデータセットとモデルに渡って white-box および black-box 設定で AdvRD の有効性を評価する。

提案手法

• 生成器 G、判別器 D、転送分類器 C を持つ準 GAN を用いて雨滴のような摂動を作成する。
• G を訓練して D を騙す雨滴を生成し、同時に C による敵対的影響を最大化する。
• エンコーダ E と潜在変数 z を組み込み、現実的な雨滴の外観と潜在ガウシアン性を強制する。
• 現実味と攻撃能力のバランスを取るために L_gen、L_z、L_p、L_adv を含む複合的な生成器損失 L_G を定義する。
• 白箱設定では z の制約の下でターゲット損失 L_TC の最大化を解くことで敵対的雨滴攻撃を最適化する、またはブラックボックスではサンプリングを介して最適化する。
• 実データ滴と比較する FID で真偽性を評価し、標準的な攻撃と比較して複数のモデルとデータセットで攻击性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 雨滴は実世界の DNN に対する自然な adversarial 摘変 perturbation になり得るか？
• RQ2 GAN ベースのアプローチは視覚的にも統計的にも現実的な adversarial 雨滴を合成し、さまざまな DNN アーキテクチャを効果的に攻撃できるか？
• RQ3 AdvRD による adversarial training は実世界の雨滴 perturbations への頑健性を向上させるか？
• RQ4 White-box と Black-box 設定で AdvRD 雨滴はデータセット間でどう機能するか？
• RQ5 現実味と攻撃強度を制御するバランスパラメータ eta によるトレードオフはどうなる？

主な発見

• AdvRD 生成の雨滴は実雨滴に視覚的にも統計的にも近い（FID 比較）。
• AdvRD 雨滴は複数のモデルで強力な攻撃者となり得て、ブラックボックス設定では勾配ベース手法を上回ることもある。
• AdvRD による adversarial training は実世界およびデジタル雨滴攻撃の成功率を低下させ、一部のクリーンなデータセットで精度を改善できる。
• 実世界の雨滴は高い攻撃ポテンシャルを示し、いくつかのデータセットで高い ASR を示す（例: NIPS-17 の 92.0%）。
• eta を大きくすると攻撃強度が増すが現実性が低下する可能性があり、ノイズサンプル数 N を増やすと ASR が向上する一方計算コストが増大する。