[論文レビュー] URET: Universal Robustness Evaluation Toolkit (for Evasion)

Kevin Eykholt, Taesung Lee+4 more|arXiv (Cornell University)|Aug 3, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

URET は、ドメイン固有の機能を保つ変換のグラフ探索問題として敵対的サンプル生成をモデル化することにより、多様な AI システムのモダリティにわたり意味的に正しいかつ機能的な敵対的入力を生成する包括的フレームワークである。非画像入力（例：マルウェアバイナリ）に対する効果的な回避攻撃を可能にし、VirusTotal で平均 58% の検出率を達成した。これは、画像ベースの攻撃を超えた実用的影響と転送性を示している。

ABSTRACT

Machine learning models are known to be vulnerable to adversarial evasion attacks as illustrated by image classification models. Thoroughly understanding such attacks is critical in order to ensure the safety and robustness of critical AI tasks. However, most evasion attacks are difficult to deploy against a majority of AI systems because they have focused on image domain with only few constraints. An image is composed of homogeneous, numerical, continuous, and independent features, unlike many other input types to AI systems used in practice. Furthermore, some input types include additional semantic and functional constraints that must be observed to generate realistic adversarial inputs. In this work, we propose a new framework to enable the generation of adversarial inputs irrespective of the input type and task domain. Given an input and a set of pre-defined input transformations, our framework discovers a sequence of transformations that result in a semantically correct and functional adversarial input. We demonstrate the generality of our approach on several diverse machine learning tasks with various input representations. We also show the importance of generating adversarial examples as they enable the deployment of mitigation techniques.

研究の動機と目的

• 複雑な入力構造を持つ非画像 AI システムに対して汎用的で一般化可能な敵対的攻撃フレームワークの不足に対処すること。
• 微分可能で連続的かつ独立した特徴に依存する勾配ベースの攻撃の限界を克服すること。これは画像では一般的であるが、バイナリやテーブル形式の特徴といった現実世界のデータでは一般的でない。
• 意味的に正しいかつ機能的に有効な敵対的入力を多様な分野で生成することで、安全を要する AI システムのための実用的敵対的テストを可能にすること。
• カスタム変換をサポートし、評価および緩和パイプラインに統合可能な再利用可能で拡張可能なツールキットを提供すること。
• VirusTotal などの現実世界の検出システムにおける敵対的転送性の有効性を実証し、実用的リスクと強固な防御の必要性を強調すること。

提案手法

• 敵対的入力生成を、ノードが入力を表し、エッジがドメイン固有の変換を表すグラフ探索問題としてモデル化する。
• 一般的なデータタイプ（例：画像、テキスト、バイナリ、テーブルデータ）に対して、事前に設定された機能的および意味的保持変換のセットを定義する。
• ドメイン固有の知識を用いて、サポートされていないデータタイプのためのカスタム変換をユーザーが定義できるプラグイン可能な変換インターフェースを提供する。
• 敵対的成功確率を最大化しつつ入力の有効性を維持する変換シーケンスを探索するために、深さと幅を設定可能なビームサーチを用いる。
• 敵対的転送性を活用し、複数のモデルや検出システムで生成された例を評価することで、一般化能力と現実世界への影響を評価する。
• 構成ファイルを通じて低レベルの実装詳細を抽象化し、異なる機械学習タスクや入力表現に容易にカスタマイズ可能にする。

Figure 1 : A typical model pipeline. Traditional adversarial attacks, which use loss gradients, are limited to generate adversarial feature vectors. Our framework can generate adversarial input objects or adversarial features using the classifier loss scoring function. Furthermore, our framework rem

実験結果

リサーチクエスチョン

• RQ1 包括的フレームワークは、画像を超えた多様な AI 入力モダリティにおいて、意味的に正しいかつ機能的に有効な敵対的入力を生成できるか？
• RQ2 変換シーケンスのグラフベース探索は、現実世界の検出システムで検出を回避する敵対的サンプルを生成するのにどの程度効果的か？
• RQ3 URET が生成した敵対的サンプルは、VirusTotal のような異なる検出モデル間でどの程度転送されるか？
• RQ4 画像ベースの敵対的特徴に対する敵対的訓練と、URET が生成する機能的に有効な敵対的入力に対する敵対的訓練とを比較した場合、耐性性能はどの程度異なるか？
• RQ5 フレームワークは、コアツールキットの変更なしに、ユーザー定義の変換を用いて新しいデータタイプに拡張可能か？

主な発見

• URET はビーム幅 5、深さ 3 を用いて、38 個の敵対的マルウェアバイナリを生成し、複雑なバイナリ入力空間における実現可能性を示した。
• VirusTotal における敵対的マルウェアバイナリの平均検出率は、元の状態の 82% から 58% に低下した。一部の検出器では、悪意あるとマークされた割合がわずか 6% にまで低下した。
• 匿名化された 6 台の VirusTotal スキャナにおける精度と再現率の指標は顕著に低下し、一部の検出器では再現率が 100% から最低で 28% まで低下した。
• 画像ベースの敵対的特徴に対する敵対的訓練は、URET が生成する機能的に有効な敵対的入力に対して効果を示さず、現在の防御戦略の限界を浮き彫りにした。
• 最小限の構成変更で、マルウェア検出、HMDA 信用リスク予測、画像分類といった多様なタスクにおいて、フレームワークは高い有効性を達成した。
• URET が生成した敵対的サンプルは強力な転送性を示し、複数の検出システムを効果的に回避した。これは、こうした攻撃の現実世界における脅威を強調している。

Figure 2 : An illustration of graph exploration.