[論文レビュー] Transferability of Adversarial Examples to Attack Cloud-based Image Classifier Service

Dou Goodman|arXiv (Cornell University)|Jan 8, 2020

Adversarial Robustness in Machine Learning参考文献 27被引用数 11

ひとこと要約

本論文では、高速な特徴マップ損失最適化を用いた代替モデルを活用することで、1～2回のクエリでクラウドベースの画像分類器向けに adversarial examples を生成する、新しいブラックボックス攻撃手法 FFL-PGD を提案する。この手法は、Amazon、Google、Microsoft、Clarifai の API において90%を超える成功率を達成し、実世界のクラウド環境における高い転送性と実用可能性を示している。

ABSTRACT

In recent years, Deep Learning(DL) techniques have been extensively deployed for computer vision tasks, particularly visual classification problems, where new algorithms reported to achieve or even surpass the human performance. While many recent works demonstrated that DL models are vulnerable to adversarial examples. Fortunately, generating adversarial examples usually requires white-box access to the victim model, and real-world cloud-based image classification services are more complex than white-box classifier,the architecture and parameters of DL models on cloud platforms cannot be obtained by the attacker. The attacker can only access the APIs opened by cloud platforms. Thus, keeping models in the cloud can usually give a (false) sense of security. In this paper, we mainly focus on studying the security of real-world cloud-based image classification services. Specifically, (1) We propose a novel attack method, Fast Featuremap Loss PGD (FFL-PGD) attack based on Substitution model, which achieves a high bypass rate with a very limited number of queries. Instead of millions of queries in previous studies, our method finds the adversarial examples using only two queries per image; and (2) we make the first attempt to conduct an extensive empirical study of black-box attacks against real-world cloud-based classification services. Through evaluations on four popular cloud platforms including Amazon, Google, Microsoft, Clarifai, we demonstrate that FFL-PGD attack has a success rate over 90\% among different classification services. (3) We discuss the possible defenses to address these security challenges in cloud-based classification services. Our defense technology is mainly divided into model training stage and image preprocessing stage.

研究の動機と目的

• 実世界のクラウドベースの画像分類サービスがブラックボックス攻撃に対してどれほど脆弱であるかを調査すること。
• ブラックボックス環境下で効果的な adversarial examples を生成するために必要なクエリ数を削減すること。
• 内部モデルアーキテクチャが未知の多様なクラウドプラットフォーム間での adversarial examples の転送性を評価すること。
• モデル学習段階および画像前処理段階での実用的な防御戦略の提案と検証すること。

提案手法

• ターゲットクラウド分類器の挙動を模倣する代替モデルに基づいた、クエリ効率の高いブラックボックス攻撃である FFL-PGD を提案する。
• 代替モデルとターゲットモデルの特徴マップを一致させることで、adversarial パーティクルの方向をガイドする「高速特徴マップ損失（FFL）」を導入する。
• FFL 目的関数を用いた Projected Gradient Descent（PGD）最適化により、最小限のクエリコストで adversarial examples を生成する。
• 公開データセット上で事前学習された転送可能な代替モデルを用いて、ターゲットクラウドモデルの意思決定境界を近似する。
• 代替モデルの高精度な近似を活用することで、1枚あたりのクエリ数を1～2回に制限する。
• 4つの主要なクラウドプラットフォーム（Amazon Rekognition、Google Cloud Vision、Microsoft Azure、Clarifai）で攻撃を検証する。

実験結果

リサーチクエスチョン

• RQ1 最小限のクエリアクセスでのみ、クラウドベースの画像分類器に対して効果的な adversarial examples を生成できるか？
• RQ2 提案された FFL-PGD 攻撃は、多様なクラウドプラットフォームにおいて、成功確率とクエリ効率の観点でどの程度の性能を示すか？
• RQ3 内部モデル構造が未知の異なるクラウドベースのビジョン API 間で、adversarial examples はどの程度転送可能か？
• RQ4 クラウドベースの AI サービスにおけるブラックボックス攻撃を効果的に緩和できる防御メカニズムは何か？

主な発見

• FFL-PGD 攻撃は、評価された4つのクラウドプラットフォーム（Amazon、Google、Microsoft、Clarifai）すべてで90%を超える成功率を達成した。
• 本手法は1枚あたり1～2回のクエリで十分であり、従来の手法が数万～数十万回のクエリを要するのに対し、顕著な削減がなされた。
• 攻撃は、ターゲットモデルのアーキテクチャやパラメータが未知であっても、adversarial examples の強い転送性を示した。
• 高速特徴マップ損失（FFL）部は、代替モデルの忠実度を著しく向上させ、最小限のクエリで高品質な adversarial examples の生成を可能にした。
• 実験的評価により、FFL-PGD を用いて作成された adversarial examples が、全テスト対象のクラウドベースの画像分類サービスを効果的にかいくぐることを確認した。
• 本研究では、JPEG 圧縮やランダマイゼーションといった標準的な防御策が、FFL-PGD 攻撃に対して限定的な保護効果しか示さないことが同定された。