[論文レビュー] Wolf in Sheep's Clothing - The Downscaling Attack Against Deep Learning Applications

Qixue Xiao, Kang Li+2 more|arXiv (Cornell University)|Dec 21, 2017

Adversarial Robustness in Machine Learning参考文献 9被引用数 8

ひとこと要約

この論文は、深層学習アプリケーションにおける新たなセキュリティ脅威として、キャンバス化されたデータを埋め込んだ入力画像を攻撃者が作成し、標準的な画像リサイズ処理で変更または破棄されることで、人間の認識とモデルの入力の間に不一致を生じさせる「ダウンスケーリング攻撃」を紹介している。この攻撃は、Caffe、TensorFlow、Torchなどのフレームワークのデフォルトのスケーリング関数を狙っており、モデルが視覚的に欺瞞を含む入力を処理するようにすることで、回避攻撃やデータ汚染攻撃を可能にする。

ABSTRACT

This paper considers security risks buried in the data processing pipeline in common deep learning applications. Deep learning models usually assume a fixed scale for their training and input data. To allow deep learning applications to handle a wide range of input data, popular frameworks, such as Caffe, TensorFlow, and Torch, all provide data scaling functions to resize input to the dimensions used by deep learning models. Image scaling algorithms are intended to preserve the visual features of an image after scaling. However, common image scaling algorithms are not designed to handle human crafted images. Attackers can make the scaling outputs look dramatically different from the corresponding input images. This paper presents a downscaling attack that targets the data scaling process in deep learning applications. By carefully crafting input data that mismatches with the dimension used by deep learning models, attackers can create deceiving effects. A deep learning application effectively consumes data that are not the same as those presented to users. The visual inconsistency enables practical evasion and data poisoning attacks to deep learning applications. This paper presents proof-of-concept attack samples to popular deep-learning-based image classification applications. To address the downscaling attacks, the paper also suggests multiple potential mitigation strategies.

研究の動機と目的

• 深層学習アプリケーションのデータ処理パイプラインにおいて、これまで無視されてきたセキュリティ脆弱性を明らかにすること。
• 深層学習フレームワークに一般的に使われる画像スケーリング関数が、視覚的欺瞞を生み出すためにどのように悪用可能かを調査すること。
• 攻撃者がリサイズ処理中に破棄されるキャンバス化されたデータを入力に埋め込み、モデルの誤分類を引き起こすことを実証すること。
• 実世界の深層学習画像分類システムに対する概念実証攻撃を提供すること。
• 実際の展開環境でこのような攻撃に対抗するための緩和戦略を提案すること。

提案手法

• 人間にとって視覚的に整合性があるが、リサイズ処理で著しく変化する特定の空間パターンを有する対抗的入力画像を生成した。
• 標準的な深層学習フレームワーク関数（例：Caffeのresize()、TensorFlowのtf.image.resize、Torchのnn.SpatialAveragePool）を用いて、画像を固定されたモデル入力寸法に再スケーリングした。
• バイリニア補間によるダウンスケーリングで歪みを最大限に引き出すために、非一様なアスペクト比（例：224×672）の入力画像を選択した。
• リサイズ後の画像に対するモデルの予測を評価し、元の入力の人の認識とは対照的に誤分類が発生することを確認した。
• バイキュービックなどの代替スケーリングアルゴリズムを検討し、耐性の程度を評価し、脆弱性が低い選択肢を同定した。
• 元の画像とリサイズ後の画像の間で特徴の変化（例：色ヒストグラムのシフト）を測定する仕組みを用いて、検出メカニズムを提案した。

実験結果

リサーチクエスチョン

• RQ1 人気の深い学習フレームワークにおける画像スケーリング関数は、どの程度視覚的欺瞞を生み出すために操作可能か？
• RQ2 バイリニア補間のようなデフォルトのスケーリングアルゴリズムは、ダウンスケーリング中に対抗的に作成された入力の整合性にどのように影響するか？
• RQ3 スケーリングに起因する視覚的不一致を悪用することで、攻撃者は回避攻撃やデータ汚染攻撃を成功させることができるか？
• RQ4 視覚的に疑わしいが、ダウンスケーリング攻撃の効果を発揮する入力を設計する際の実用的トレードオフは何か？
• RQ5 実世界の深層学習デプロイメントで、ダウンスケーリング攻撃を効果的に検出または防止するための緩和戦略は何か？

主な発見

• Caffe、TensorFlow、Torchにおけるデフォルトの画像スケーリング関数は、ユーザーには見えないがモデルに顕著な影響を与える内容の変更を引き起こすため、ダウンスケーリング攻撃に対して脆弱である。
• 攻撃者は、人間には1つのクラス（例：ヤギ）を含むように見える入力画像を生成できるが、リサイズ後に別のクラス（例：オオカミ）に変換され、モデルが誤分類する。
• 攻撃の有効性はスケーリング係数とアスペクト比の不一致に比例し、それらの偏差が大きいほど視覚的操作の余地が広がる。
• バイキュービック補間はバイリニア補間よりも耐性が強く、このような攻撃に対して感受性が低いため、アルゴリズムの選択がリスクを低減する可能性を示している。
• 元の画像とリサイズ後の画像の間で顕著な視覚的特徴の変化（例：色ヒストグラムのシフト）が生じる場合、これはダウンスケーリング攻撃の検出指標として利用できる。
• 期待される入力寸法に基づく入力のフィルタリングや検証は攻撃を緩和できるが、特にユーザーがアップロードするコンテンツを受け入れるアプリケーションでは実用的でない場合がある。