[論文レビュー] Random Noise Defense Against Query-Based Black-Box Attacks

Zeyu Qin, Yanbo Fan+2 more|arXiv (Cornell University)|Apr 23, 2021

Adversarial Robustness in Machine Learning参考文献 50被引用数 7

ひとこと要約

本稿では、推論時におけるガウスノイズの追加によりクエリベースのブラックボックス攻撃を攪乱する、軽量で即時適用可能な防御手法であるRandom Noise Defense (RND)を提案する。理論的分析により、防御の有効性はRNDと攻撃者に由来するノイズのノイズ大きさ比に依存することが示され、RND-GF（RNDにガウス拡張のファインチューニングを組み合わせたもの）は、 adversarial training（AT）単体に比べて最大23.1%高いロバスト精度を達成するとともに、クリーン精度を維持する。

ABSTRACT

The query-based black-box attacks have raised serious threats to machine learning models in many real applications. In this work, we study a lightweight defense method, dubbed Random Noise Defense (RND), which adds proper Gaussian noise to each query. We conduct the theoretical analysis about the effectiveness of RND against query-based black-box attacks and the corresponding adaptive attacks. Our theoretical results reveal that the defense performance of RND is determined by the magnitude ratio between the noise induced by RND and the noise added by the attackers for gradient estimation or local search. The large magnitude ratio leads to the stronger defense performance of RND, and it's also critical for mitigating adaptive attacks. Based on our analysis, we further propose to combine RND with a plausible Gaussian augmentation Fine-tuning (RND-GF). It enables RND to add larger noise to each query while maintaining the clean accuracy to obtain a better trade-off between clean accuracy and defense performance. Additionally, RND can be flexibly combined with the existing defense methods to further boost the adversarial robustness, such as adversarial training (AT). Extensive experiments on CIFAR-10 and ImageNet verify our theoretical findings and the effectiveness of RND and RND-GF.

研究の動機と目的

• クリーン精度の低下を伴わずにクエリベースのブラックボックス攻撃に対して軽量かつ効率的な防御を提供すること。
• 標準的および適応的クエリベース攻撃に対するランダムノイズ防御（RND）の有効性を理論的に分析すること。
• より大きなノイズ注入を可能にしつつ性能の低下を防ぐことで、耐性とクリーン精度のトレードオフを是しること。
• 既存の手法（例： adversarial training）と組み合わせてさらに耐性を向上できる、即時適用可能な防御を設計すること。
• 理論的予測の実証的検証と、CIFAR-10およびImageNetにおけるRNDおよびRND-GFの優位性を示すこと。

提案手法

• RNDは推論時におけるガウスノイズの注入により、クエリベース攻撃における勾配推定およびランダムサーチを攪乱する。
• 防御の有効性は、勾配推定または探索におけるRNDノイズと攻撃者ノイズの大きさ比に理論的に関連している。
• RND-GFは、RNDと軽量なガウス拡張ファインチューニングを組み合わせ、クリーン精度を維持しつつより大きなノイズ注入を可能にする。
• 理論的分析により、ノイズ大きさ比が十分に大きい場合には、EOTのような適応的攻撃でさえRNDを回避できないことが確認された。
• RNDは即時適用可能に設計されており、adversarial training（AT）などの既存防御とシームレスに統合可能である。
• 実験では、Square、Bandit、SimBAなどの最先端のクエリベース攻撃を用いて、CIFAR-10およびImageNet上でのRNDおよびRND-GFの評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 RNDが誘導するノイズと攻撃者に由来するノイズの大きさ比が、防御パフォーマンスにどのように影響するか？
• RQ2 期待値の摂動（EOT）のような適応的攻撃に対してもRNDは効果的に機能するか？
• RQ3 RNDはadversarial trainingなどの既存防御と組み合わせることで、さらなる耐性向上が可能か？
• RQ4 標準的RNDに比べ、RND-GFはクリーン精度と敵対的耐性のトレードオフをどのように改善するか？
• RQ5 スコアベースおよび探索ベースの攻撃戦略を含む多様なクエリベース攻撃に対して、RNDはどのように性能を発揮するか？

主な発見

• CIFAR-10およびImageNetにおいて、ATと組み合わせたRNDは、AT単体に比べて最大23.1%高いロバスト精度を達成した。
• RND-GFは、クリーン精度を高い水準（例：CIFAR-10で71.15%）で維持しながら、特にZOおよび探索ベース攻撃に対して顕著な防御性能の向上を示した。
• Square攻撃に対して、RND-ATはCIFAR-10でAT単体に比べ23.1%、ImageNetで22.7%高いロバスト精度を達成した。
• Bandit、SimBA、ECO攻撃の成功率はRNDにより低下し、攻撃に必要なクエリ数も増加した。これは、適応的戦略に対しても強い耐性を示している。
• 理論的予測である「大きなノイズ大きさ比が防御を強化する」ことは、実証的に裏付けられ、RND-GFによりノイズを大きくしても精度の低下が生じないことが確認された。
• RNDは多様な攻撃タイプに対して有効であり、他の防御と組み合わせても依然として耐性を保つことができた。これは、即時適用性と一般化可能性を裏付ける。