[論文レビュー] Adversarial Patch

T. B. Brown, Dandelion Mané+3 more|arXiv (Cornell University)|Dec 27, 2017

Adversarial Robustness in Machine Learning被引用数 78

ひとこと要約

この論文は、背景を知らなくても、任意の場面に印刷して配置でき、分類器に選択したターゲットクラスを出力させる普遍的で頑健で標的化された敵対的画像パッチを生成する方法を提示します。背景変換の下でも有効であるよう、期待値 over transformations（EOT）フレームワークを用いてパッチを訓練し、実世界の攻撃を可能にします。

ABSTRACT

We present a method to create universal, robust, targeted adversarial image patches in the real world. The patches are universal because they can be used to attack any scene, robust because they work under a wide variety of transformations, and targeted because they can cause a classifier to output any target class. These adversarial patches can be printed, added to any scene, photographed, and presented to image classifiers; even when the patches are small, they cause the classifiers to ignore the other items in the scene and report a chosen target class. To reproduce the results from the paper, our code is available at https://github.com/tensorflow/cleverhans/tree/master/examples/adversarial_patch

研究の動機と目的

• 大きく、知覚上不可能でない摂動を物理世界の敵対的攻撃として研究する動機づけ。
• 背景と変換を超えて普遍的に適用できるパッチベースの攻撃を提案する。
• さまざまな条件下で標的クラスを誘導するパッチを訓練するための最適化フレームワークを開発する。
• 現実世界の設定で複数のモデルを混乱させるパッチの印刷と展開の実現性を示す。

提案手法

• 画像 x に位置 l で適用される画像非依存パッチ p を、パッチ変換 t を用いて A(p,x,l,t) の演算子で定義する。
• パッチを訓練するには、ランダムな画像、パッチ変換、および位置について、ターゲットクラス ŷ の対数確率の期待値を最大化する： p̂ = arg max_p E_{x∼X,t∼T,l∼L}[log Pr(ŷ|A(p,x,l,t))]。
• 背景に依存しない効果を促進するために、変換に関する期待値（EOT）フレームワークを使用する。
• p を元のパッチ p_orig に近い L∞ ノルム内に制約して、パッチをカモフラージュできるようにする。
• 複数の ImageNet モデルに対して、ホワイトボックスおよびブラックボックス設定の下でパッチを評価する。
• パッチを印刷して実世界のシーンでテストすることで、物理世界への転送を実証する。

実験結果

リサーチクエスチョン

• RQ1 背景、位置、変換が異なる場合でも、単一の普遍的パッチが複数の分類器を誤らせることができるか。
• RQ2 普遍的で物理世界の設定において、標的クラスを安定して誘導するにはパッチはどれくらい大きい必要があるか。
• RQ3 カモフラージュや変換後、見知らぬモデルや現実世界の応用へ転送された場合でも、パッチは有効性を保つか。

主な発見

• 提案手法で訓練された単一のパッチは、異なるモデルやシーンにわたって分類器を選択したターゲットクラスへ出力させることができる。
• ランダムな平行移動・回転・スケール変更の下でも、また様々な背景に配置されても、パッチは有効性を維持する。
• カモフラージュされたパッチ（例：タイダイパターン）もターゲット分類器に対する攻撃力を substantial に保持する。
• 実世界の実験では、印刷されたパッチが他の物体がある実シーンでも分類器を誤らせることができる。
• ブラックボックス転送性が観察されるが、効果はパッチサイズと可視性に依存する可能性がある。
• 小さな摂動に焦点を当てた防御は、大域的で局所的なパッチには不十分である可能性があることを示す。