[論文レビュー] Cloud-based Image Classification Service Is Not Robust To Simple Transformations: A Forgotten Battlefield

Dou Goodman, Tao Wei|arXiv (Cornell University)|Jun 19, 2019

Adversarial Robustness in Machine Learning参考文献 20被引用数 4

ひとこと要約

本論文は、ガウスノイズ、ソルトアンドペッパーノイズ、回転、モノクロ化といった基本的な画像操作を用いた単純変換（ST）攻撃を紹介する。この攻撃は、アマゾン、グーグル、マイクロソフト、クラリファイのクラウドベースの画像分類器をほぼ100％の成功率で回避する。さらに、画像を融合させる画像統合（IF）攻撃を提案し、98％以上の成功率で検知を回避することに成功した。これは、深層学習を用いない単純な手法でも、広く使われているクラウドビジョンサービスを破る可能性があることを示している。

ABSTRACT

Many recent works demonstrated that Deep Learning models are vulnerable to adversarial examples.Fortunately, generating adversarial examples usually requires white-box access to the victim model, and the attacker can only access the APIs opened by cloud platforms. Thus, keeping models in the cloud can usually give a (false) sense of security.Unfortunately, cloud-based image classification service is not robust to simple transformations such as Gaussian Noise, Salt-and-Pepper Noise, Rotation and Monochromatization. In this paper,(1) we propose one novel attack method called Image Fusion(IF) attack, which achieve a high bypass rate,can be implemented only with OpenCV and is difficult to defend; and (2) we make the first attempt to conduct an extensive empirical study of Simple Transformation (ST) attacks against real-world cloud-based classification services. Through evaluations on four popular cloud platforms including Amazon, Google, Microsoft, Clarifai, we demonstrate that ST attack has a success rate of approximately 100% except Amazon approximately 50%, IF attack have a success rate over 98% among different classification services. (3) We discuss the possible defenses to address these security challenges.Experiments show that our defense technology can effectively defend known ST attacks.

研究の動機と目的

• 実世界のクラウドベースの画像分類サービスが、単純で敵対的でない画像変換に対してどれほど頑健であるかを調査すること。
• 深層学習の知識やホワイトボックスアクセスが不要な低複雑度の攻撃が、クラウドAIサービスに与える脆弱性を露呈すること。
• 主にメジャーデータベースのクラウドプラットフォームで98％以上の回避率を達成する、画期的な攻撃手法「画像統合（IF）」を提案すること。
• 単純で実用的な変換を用いた黒ボックス攻撃の、実世界のクラウドビジョンAPIに対する広範な実証的調査を初めて実施すること。
• モデルの再トレーニングと前処理技術を用いて、既知のST攻撃に対して効果的な防御戦略を構築・検証すること。

提案手法

• ガウスノイズ、ソルトアンドペッパー・ノイズ、回転、モノクロ化の4つの一般的な画像操作を用いた単純変換（ST）攻撃を提案。これらは最小限のOpenCVコードで実装可能である。
• 複数の画像を組み合わせて検知を回避する空間的変換に基づく画像統合（IF）攻撃を導入。
• モデルのアーキテクチャやパラメータの知識が不要な、クエリ効率的で黒ボックスのアプローチを採用。
• 適応フィルタを特定のノイズタイプに合わせて調整する、モデルの再トレーニングと画像前処理を組み合わせた防御戦略を設計。
• ImageNetベースのデータセットを用いて防御の有効性を評価し、パラメータの感度と異なるノイズタイプに対するフィルタ選択の有効性を示した。
• 4つの主要なクラウドプラットフォーム（アマゾン、グーグル、マイクロソフト、クラリファイ）を対象に広範な実証的評価を実施し、攻撃成功率と防御効果を測定した。

実験結果

リサーチクエスチョン

• RQ1 ガウスノイズや回転といった単純で敵対的でない画像変換に対して、クラウドベースの画像分類サービスはどの程度脆弱であるか？
• RQ2 基本的な画像処理操作のみを用いた黒ボックス攻撃が、実世界のクラウドビジョンAPIに対して高い回避率を達成できるか？
• RQ3 提案された画像統合（IF）攻撃は、標準的なST攻撃と比較して、複数のクラウドベースの画像分類器を回避する上でどの程度効果的か？
• RQ4 内部モデルパラメータへのアクセスが不要な防御メカニズムは、既知のST攻撃に対してどの程度効果的か？
• RQ5 異なる前処理フィルターやそのパラメータは、特定のST攻撃に対して画像の耐性にどのように影響を与えるか？

主な発見

• 単純変換（ST）攻撃は、グーグル、マイクロソフト、クラリファイでは約100％の成功率を達成したが、アマゾンのクラウドサービスでは約50％であった。
• 提案された画像統合（IF）攻撃は、全テスト対象クラウドプラットフォームで98％を超える回避率を達成し、極めて高い有効性を示した。
• 攻撃は実用的で、わずか数行のOpenCVコードで実装可能であり、深層学習の知識やモデルへのアクセスが不要である。
• 本研究では、クラウドベースの画像分類器が、人間の知覚ではわずかに変化する変換に対して極めて感受性が強いことが判明し、『見えにくさによるセキュリティ』の仮定が疑問視された。
• モデルの再トレーニングと適応的前処理フィルタの組み合わせた防御戦略は、既知のST攻撃に対して効果的に抵抗できるが、適切なフィルタ選択とパrameterチューニングに依存する。
• 実験により、最適なフィルターパラメータはノイズタイプによって異なり、攻撃タイプに特化したフィルタが適切に選択されれば、防御効果が最大限に高まることが確認された。