[論文レビュー] VisionGuard: Runtime Detection of Adversarial Inputs to Perception Systems

Yiannis Kantaros, Taylor J. Carpenter+5 more|arXiv (Cornell University)|Feb 23, 2020

Adversarial Robustness in Machine Learning参考文献 32被引用数 8

ひとこと要約

VisionGuard は、損失圧縮に対する感度を利用することで、DNNに基づく認識システムへの敵対的入力を検出する軽量でランタイム対応の防御手法です。入力画像を圧縮前後で分類器の出力を比較し、MNIST、CIFAR10、ImageNetの各データセットで計算コストを抑えながら高い検出精度を達成しています。

ABSTRACT

Deep neural network (DNN) models have proven to be vulnerable to adversarial attacks. In this paper, we propose VisionGuard, a novel attack- and dataset-agnostic and computationally-light defense mechanism for adversarial inputs to DNN-based perception systems. In particular, VisionGuard relies on the observation that adversarial images are sensitive to lossy compression transformations. Specifically, to determine if an image is adversarial, VisionGuard checks if the output of the target classifier on a given input image changes significantly after feeding it a transformed version of the image under investigation. Moreover, we show that VisionGuard is computationally-light both at runtime and design-time which makes it suitable for real-time applications that may also involve large-scale image domains. To highlight this, we demonstrate the efficiency of VisionGuard on ImageNet, a task that is computationally challenging for the majority of relevant defenses. Finally, we include extensive comparative experiments on the MNIST, CIFAR10, and ImageNet datasets that show that VisionGuard outperforms existing defenses in terms of scalability and detection performance.

研究の動機と目的

• DNNに基づく認識システムに対する敵対的攻撃の脅威が増大する中、リアルタイム応用におけるその影響を軽減すること。
• 多様なデータセットや攻撃タイプに適応可能な、計算効率が高く効果的な防御機構を開発すること。
• 再訓練やデータセット固有のチューニングを必要とせず、大規模な画像ドメインへの敵対的検出のスケーラブルな展開を可能にすること。

提案手法

• VisionGuard は、敵対的画像が自然画像とは異なり、損失圧縮に対して極めて感受性が高いという観察に基づいています。
• 入力画像を損失圧縮（例：JPEG）によって変換し、摂動を加えたバージョンを生成します。
• システムは、元の画像と圧縮済み画像の両方に対して分類器の出力を比較し、顕著なシフトが生じているかどうかを検出することで、敵対的入力を特定します。
• この手法は攻撃に依存せず、データセットに依存せず、攻撃タイプや学習データの事前知識が不要です。
• 最小限のオーバーヘッドでランタイムで動作するため、リアルタイムシステムに適しています。
• ターゲット分類器を変更せずに実装されており、即座に統合可能なプラグアンドプレイ型です。

実験結果

リサーチクエスチョン

• RQ1 モデル固有またはデータセット固有の学習に依存せずに、軽量でランタイム対応の防御が敵対的入力を検出可能かどうか。
• RQ2 損失圧縮を敵対的摂動の特定に用いるプローブとして、多様なデータセットでどの程度有効であるか。
• RQ3 ImageNet などの大規模ベンチマークで、計算コストを最小限に抑えながら、VisionGuard がどの程度高い検出精度を維持できるか。
• RQ4 既存の最先端防御と比較して、VisionGuard はスケーラビリティとパフォーマンスでどの程度優れているか。
• RQ5 適応を必要とせず、異なる攻撃タイプに一般化できるか。

主な発見

• VisionGuard は、MNIST、CIFAR10、ImageNet における既存の防御と比較して優れた検出パフォーマンスを達成しています。
• この手法は強力なスケーラビリティを示し、多くの既存防御が失敗する計算的に困難な ImageNet データセットでも正常に処理できます。
• 設計時および実行時の両方で計算オーバーヘッドが低く抑えられており、リアルタイム展開が可能になっています。
• 再訓練やデータセット固有のチューニングを必要とせず、多様な攻撃タイプやデータセットに対して効果的で、頑健性を示しています。
• 圧縮前後の分類器出力の比較というコアなメカニズムが、敵対的入力を特定する上で極めて有効であることが実証されています。