[論文レビュー] Attacking and Defending Machine Learning Applications of Public Cloud

Dou Goodman, Xin Hao|arXiv (Cornell University)|Jul 27, 2020

Adversarial Robustness in Machine Learning参考文献 52被引用数 6

ひとこと要約

本論文は、Google Cloud Vision API などの ML サービスプラットフォームに対する敵対的攻撃および空間的攻撃から防御するための機械学習向けセキュリティ開発ライフサイクル（SDL for ML）を提案する。FFL-PGD 攻撃を導入し、1〜2回のクエリで高い成功率を達成した。また、一般的な汚損下でもモデルの脆さが顕著であることを示し、クラウド ML パイプラインにおける耐性テストおよび敵対的検出の必要性を強調している。

ABSTRACT

Adversarial attack breaks the boundaries of traditional security defense. For adversarial attack and the characteristics of cloud services, we propose Security Development Lifecycle for Machine Learning applications, e.g., SDL for ML. The SDL for ML helps developers build more secure software by reducing the number and severity of vulnerabilities in ML-as-a-service, while reducing development cost.

研究の動機と目的

• Google Cloud Vision API のようなパブリッククラウド ML サービスに対する敵対的および空間的攻撃の増加する脅威に対処すること。
• ブラックボックスアクセスおよびモデルの透明性欠如にもかかわらず、ML サービスプラットフォームにおける重要な脆弱性を同定すること。
• 脅威モデリング、耐性テスト、敵対的検出を統合した包括的で実用的なセキュリティライフサイクル（SDL for ML）を構築すること。
• 限定的なクエリアクセスでも、転送可能な敵対的例を用いて防御を回避できることを実証すること。
• 生産環境におけるモデルセキュリティ向上を目的として、耐性評価および敵対的検出のためのオープンソースツールを提供すること。

提案手法

• FFL-PGD 攻撃を提案：最小限のクエリで訓練されたシャロウモデルを用いて、ターゲットモデルの意思決定境界を近似し、高い転送性を持つ敵対的例を生成する。
• オリジナル画像と敵対的画像の間の低レベル特徴差を最小化する新しい損失関数を採用し、人間が認識できないレベルの微細な変更と攻撃成功率の向上を実現する。
• 13 種類の汚損（例：ノイズ、ぼかし、回転、天候効果）を用いたブラックボックス耐性テストを実施し、PSNR および SSIM の制約下での精度を評価する。
• 統計的特徴の差異に基づいて、クリーン入力と敵対的入力を区別するための深層ニューラルネットワークベースのバイナリ分類器を検出器として採用する。
• 敵対的学習と検出を統合した完全な SDL for ML フレームワークを構築し、ローカルモデルおよびクラウド API の両方をサポートする。
• 複数の摂動タイプとしきい値をカバーする耐性評価を自動化するためのオープンソースツール（例：perceptron-benchmark）を提供する。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス API アクセスと最小限のクエリのみで、クラウドベースの ML サービスに対して効果的な敵対的攻撃を実行可能か？
• RQ2 ノイズ、ぼかし、天候効果などの一般的な画像汚損に対して、パブリッククラウド ML モデルはどれほど脆弱であり、モデル精度にどのような影響を与えるか？
• RQ3 アーキテクチャやパラメータの非公開状態にもかかわらず、転送学習を用いて生成された敵対的例が、実世界のクラウド ML サービスをどれほど効果的に回避できるか？
• RQ4 統計的特徴のみに基づいて、深層学習ベースの検出器が敵対的入力とクリーン入力を信頼性高く区別できるか？
• RQ5 耐性テスト、敵対的緩和、検出を統合できる標準的でスケーラブルなセキュリティ開発ライフサイクル（SDL for ML）をどのように設計できるか？

主な発見

• FFL-PGD 攻撃は、1〜2回のクエリで95.5％の成功率を達成し、限定的なアクセスでもクラウドベース ML 防御を回避可能であることを示した。
• 一般的な汚損下では、InceptionV3 のトップ-1精度がガウスノイズでは20％、回転では30％に低下し、空間的およびノイズベースの摂動に対して極めて脆弱であることが判明した。
• ぼかしとノイズ攻撃は高い成功率（例：ガウスノイズで80％）を示し、PSNR 値が20以上であるため、人間にはほとんど認識されない状態で攻撃が成立している。
• 135°および-135°の回転では、攻撃成功率が70％近くに達し、方向依存の脆弱性が明らかになった。
• 深層ニューラルネットワークベースの検出器は、入力分布のわずかな統計的差異に基づいて敵対的入力を識別する可能性を示した。
• 耐性テストの結果、標準的な画像変換よりも空間的およびノイズベースの汚損に対してモデルがはるかに脆弱であることが判明し、現在の ML セキュリティにおける重要なギャップが露呈された。