[論文レビュー] Small Input Noise is Enough to Defend Against Query-based Black-box Attacks

Junyoung Byun, Hyojun Go+1 more|arXiv (Cornell University)|May 4, 2021

Adversarial Robustness in Machine Learning参考文献 21被引用数 7

ひとこと要約

本論文では、推論時に最小限の入力ノイズを追加することでクエリベースのブラックボックス攻撃を妨げる単純ながらも効果的な防御法であるSmall Noise Defense (SND) を提案する。モデル出力がクエリ入力と正確に一致すると仮定するという前提を破ることで、攻撃における勾配推定と局所探索を著しく阻害し、CIFAR-10およびImageNetでほぼゼロの精度低下と最小限の計算オーバーヘッドで強力な耐性を達成する。

ABSTRACT

While deep neural networks show unprecedented performance in various tasks, the vulnerability to adversarial examples hinders their deployment in safety-critical systems. Many studies have shown that attacks are also possible even in a black-box setting where an adversary cannot access the target model's internal information. Most black-box attacks are based on queries, each of which obtains the target model's output for an input, and many recent studies focus on reducing the number of required queries. In this paper, we pay attention to an implicit assumption of these attacks that the target model's output exactly corresponds to the query input. If some randomness is introduced into the model to break this assumption, query-based attacks may have tremendous difficulty in both gradient estimation and local search, which are the core of their attack process. From this motivation, we observe even a small additive input noise can neutralize most query-based attacks and name this simple yet effective approach Small Noise Defense (SND). We analyze how SND can defend against query-based black-box attacks and demonstrate its effectiveness against eight different state-of-the-art attacks with CIFAR-10 and ImageNet datasets. Even with strong defense ability, SND almost maintains the original clean accuracy and computational speed. SND is readily applicable to pre-trained models by adding only one line of code at the inference stage, so we hope that it will be used as a baseline of defense against query-based black-box attacks in the future.

研究の動機と目的

• 安全で重要なアプリケーションにおける深層ニューラルネットワークのクエリベースのブラックボックス攻撃への脆弱性を解決すること。
• クエリベース攻撃の暗黙の仮定、すなわちモデル出力が入力クエリを正確に反映するとする仮定に挑戦すること。
• 高いクリーン精度と推論効率を維持する軽量で実用的な防御を開発すること。
• 標準ベンチマーク上での多様な最先端のクエリベース攻撃に対して、防御の耐性を示すこと。

提案手法

• 推論時における入力に小さなランダムな加法的ノイズを追加するSmall Noise Defense (SND) を導入する。
• モデル応答の内在的なランダム性を活用し、入力クエリと出力の間の決定的対応関係を破る。
• 類似する入力に対してモデル出力が予測不可能になるようにすることで、攻撃における勾配推定を妨げる。
• 敵対的例周辺の真の損失関数の形状をぼかすノイズを導入することで、攻撃における局所探索を妨げる。
• ノイズは推論時でのみ適用され、事前学習済みモデルに統合するには1行のコードで十分である。
• モデルの主な動作に影響を与えない最小限のノイズを使用することで、高いクリーン精度と計算速度を維持する。

実験結果

リサーチクエスチョン

• RQ1 わずかな入力ノイズがクエリベースブラックボックス攻撃のコアなメカニズムを効果的に妨げられるか？
• RQ2 モデル応答にランダム性を導入することで、ブラックボックス攻撃における勾配推定と局所探索の可能性にどのような影響を与えるか？
• RQ3 SNDは多様なクエリベース攻撃に対して、クリーン精度と推論速度をどの程度維持しながら防御できるか？
• RQ4 SNDは、事前学習済みモデルに対して実用的で即時利用可能な防御ベースラインとして機能できるか？

主な発見

• SNDはCIFAR-10およびImageNetの両データセットで8つの最先端のクエリベースブラックボックス攻撃を効果的に無効化する。
• 防御により元のモデルとほぼ同一のクリーン精度が維持され、性能低下はほとんどない。
• SNDは顕著な計算オーバーヘッドを伴わず、元の推論速度をそのままで保持する。
• 防御は、大多数のクエリベース攻撃が根拠としている決定的入出力マッピングの仮定を破壊することによって機能する。
• SNDは非常に実用的であり、あらゆる事前学習済みモデルに1行のコードで簡単に導入できる。
• SNDは勾配推定や局所探索に依存する多様な攻撃戦略に対しても耐性を示す。