[論文レビュー] They Might NOT Be Giants: Crafting Black-Box Adversarial Examples with Fewer Queries Using Particle Swarm Optimization

Rayan Mosli, Matthew Wright+2 more|arXiv (Cornell University)|Sep 16, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用数 9

ひとこと要約

この論文では、粒子群最適化（PSO）を用いたブラックボックス攻撃であるAdversarialPSOを提案する。PSOの勾配フリーで集団ベースの探索により、従来の最先端手法よりもはるかに少ないクエリで、高い成功率の敵対的サンプルを生成する。CIFAR-10では99.6%、MNISTでは96.3%、ImageNetでは82.0%の成功率を達成し、人間が感知できないほどの微小な摂動を効率的に特定する。

ABSTRACT

Machine learning models have been found to be susceptible to adversarial examples that are often indistinguishable from the original inputs. These adversarial examples are created by applying adversarial perturbations to input samples, which would cause them to be misclassified by the target models. Attacks that search and apply the perturbations to create adversarial examples are performed in both white-box and black-box settings, depending on the information available to the attacker about the target. For black-box attacks, the only capability available to the attacker is the ability to query the target with specially crafted inputs and observing the labels returned by the model. Current black-box attacks either have low success rates, requires a high number of queries, or produce adversarial examples that are easily distinguishable from their sources. In this paper, we present AdversarialPSO, a black-box attack that uses fewer queries to create adversarial examples with high success rates. AdversarialPSO is based on the evolutionary search algorithm Particle Swarm Optimization, a populationbased gradient-free optimization algorithm. It is flexible in balancing the number of queries submitted to the target vs the quality of imperceptible adversarial examples. The attack has been evaluated using the image classification benchmark datasets CIFAR-10, MNIST, and Imagenet, achieving success rates of 99.6%, 96.3%, and 82.0%, respectively, while submitting substantially fewer queries than the state-of-the-art. We also present a black-box method for isolating salient features used by models when making classifications. This method, called Swarms with Individual Search Spaces or SWISS, creates adversarial examples by finding and modifying the most important features in the input.

研究の動機と目的

• 過剰なクエリ数を要するか、低成功率に悩む既存のブラックボックス敵対的攻撃の限界を解消すること。
• ブラックボックス環境下で、クエリ効率的かつ勾配フリーな方法により、人間が感知できない敵対的サンプルを生成すること。
• モデルの内部構造を必要とせずに、分類に使用される顕著な特徴を同定できること。
• PSOのスケーラビリティを活用して、複数のクエリソースを統合し、大規模かつ分散型の敵対的攻撃を可能にすること。

提案手法

• AdversarialPSOは、入力空間を反復的に探索する粒子の集団を用い、分類誤りの可能性を測るフィットネス関数に従って、微小で人間が感知できない変更を加える。
• 各粒子は、自身の最良位置とスワーム全体の最良位置に基づき、勾配を必要としないPSOの速度と位置更新ルールに従って位置を更新する。
• フィットネス関数は、分類誤りの確率を最大化するとともに、摂動のL2ノルムを最小化するように設計され、人間が感知できないことを保証する。
• SWISS（Swarms with Individual Search Spaces）は、PSOを拡張し、粒子を入力空間の特定の領域に制限することで、分類に最も影響を与える特徴を局所的に特定・変更可能にする。
• SWISSは局所化された粒子群を用いて個々の領域を調査し、モデルの予測に最も寄与する特徴を特定する。これにより、勾配情報なしで標的特徴に特化した摂動が可能になる。
• 攻撃はMNIST、CIFAR-10、ImageNetで評価され、主な指標としてクエリ効率と敵対的攻撃成功率が用いられる。

実験結果

リサーチクエスチョン

• RQ1 PSOのような勾配フリーで集団ベースの最適化手法は、勾配ベースの手法よりも少ないクエリで、ブラックボックス環境下で高品質な敵対的サンプルを効果的に生成できるか？
• RQ2 PSOに基づく敵対的攻撃は、多様なデータセットにおいて、最先端のブラックボックス攻撃と比較してクエリ効率と成功率の点で優れているか？
• RQ3 PSOは、モデルの勾配や内部構造にアクセスせずに、分類に使用される顕著な特徴を同定できるか？
• RQ4 PSOに基づく攻撃は、複数の分散型クエリソースを統合することで、大規模かつ静かで効果的な敵対的キャンペーンを実現できるか？

主な発見

• AdversarialPSOは、先行する最先端手法よりもはるかに少ないクエリでCIFAR-10で99.6%の成功率を達成した。
• MNISTでは、最小限のクエリオーバーヘッドで96.3%の成功率に達し、高い効率性と頑健性を示した。
• ImageNetでは、データセットの複雑さにもかかわらず、クエリ効率が優れており、82.0%の成功率を達成し、既存のブラックボックス攻撃を上回った。
• SWISS手法は、モデルが分類に使用する顕著な特徴を効果的に特定・変更し、勾配情報なしで標的攻撃を可能にした。
• PSOベースのアプローチにより、複数のエージェントが共有のターゲットモデルを用いて攻撃に貢献できるようにし、大規模かつ分散型の敵対的攻撃を実現した。
• PSOは、8K解像度の画像のような高次元空間でも、複数のノードに分散して探索を実行することで、効果的に機能することが実証された。