[論文レビュー] Projecting Trouble: Light Based Adversarial Attacks on Deep Learning Classifiers

Nicole Nichols, Robert Jasper|arXiv (Cornell University)|Oct 16, 2018

Adversarial Robustness in Machine Learning参考文献 14被引用数 11

ひとこと要約

本稿では、物体への恒久的改造を必要とせず、投影された光パターンを用いて深層学習画像分類器に対する動的で物理的な敵対的攻撃を提案する。微分進化を用いて光の投影を最適化することで、2次元CIFAR-10画像では分類精度を98%から22%に低下させ、3次元オブジェクトでは89%から43%に低下させ、一時的で光に基づく敵対的操作の現実世界への実現可能性を示した。

ABSTRACT

This work demonstrates a physical attack on a deep learning image classification system using projected light onto a physical scene. Prior work is dominated by techniques for creating adversarial examples which directly manipulate the digital input of the classifier. Such an attack is limited to scenarios where the adversary can directly update the inputs to the classifier. This could happen by intercepting and modifying the inputs to an online API such as Clarifai or Cloud Vision. Such limitations have led to a vein of research around physical attacks where objects are constructed to be inherently adversarial or adversarial modifications are added to cause misclassification. Our work differs from other physical attacks in that we can cause misclassification dynamically without altering physical objects in a permanent way. We construct an experimental setup which includes a light projection source, an object for classification, and a camera to capture the scene. Experiments are conducted against 2D and 3D objects from CIFAR-10. Initial tests show projected light patterns selected via differential evolution could degrade classification from 98% to 22% and 89% to 43% probability for 2D and 3D targets respectively. Subsequent experiments explore sensitivity to physical setup and compare two additional baseline conditions for all 10 CIFAR classes. Some physical targets are more susceptible to perturbation. Simple attacks show near equivalent success, and 6 of the 10 classes were disrupted by light.

研究の動機と目的

• 物体への恒久的改造を必要とせず、投影された光を用いて深層学習分類器を動的に操作する物理的敵対的攻撃を開発すること。
• 最小限の照明制御で、現実世界の条件下における光ベースの攻撃の有効性を評価すること。
• 異なるオブジェクトクラスおよび物理的設定パラメータが、敵対的光ノイズにどれほど感受性を示すかを調査すること。
• ベースライン条件と比較し、10個のCIFAR-10クラスにわたる転送性を評価すること。
• リアルタイムフィードバックと最適化を用いて、物理的シーン内で効果的な敵対的光パターンを生成する可能性を検討すること。

提案手法

• 実世界のシーンにおいて、2次元および3次元の物体に最適化された光パターンをプロジェクタで投影した。
• 微分進化（DE）というヒューリスティックなグローバル最適化アルゴリズムを用い、誤分類を最大化する光パターンを段階的に改善した。
• 最適化ループのためのリアルタイムフィードバックを取得するために、ウェブカメラでシーンを撮影し、動的な適応を可能にした。
• 制御されたが非理想的な照明条件下で、CIFAR-10データセットの2次元印刷画像および3次元フィギュアに攻撃を適用した。
• 光の投影前後における分類器の信頼度スコアを測定し、敵対的摂動の成功度を評価した。
• 未投影のシーンやランダムな光パターンを用いた条件と比較するアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 物体への物理的改造なしに、投影された光パターンを用いて深層学習画像分類器の誤分類を動的に誘発できるか？
• RQ2 制御された環境や印刷された敵対的例と比較して、現実世界の非制御環境における光ベースの敵対的攻撃はどの程度有効か？
• RQ3 どのオブジェクトクラスが光ベースの敵対的攻撃に対して最も感受性を示すか？また、その感受性に寄与する物理的または視覚的特性は何か？
• RQ4 カメラ設定、照明角度、プロジェクタの強度の変化が、光ベースの攻撃の成功にどのように影響するか？
• RQ5 敵対的光パターンは、異なるオブジェクトの姿勢、方向、または分類器アーキテクチャ間でどの程度転送可能か？

主な発見

• 光ベースの敵対的攻撃により、2次元CIFAR-10画像のトップ-1分類精度が98%から22%に著しく低下し、モデルの信頼度が著しく低下した。
• 3次元オブジェクトでは、正しいクラス（車）の信頼度が89%から43%に低下し、モデルは「トラック」を57%の確率で予測した。
• CIFAR-10の10クラス中6クラスが光ベースの攻撃によって効果的に混乱させられ、広範なが、すべてのクラスに及ぶわけではない感受性を示した。
• シーンの背景に1ピixelの光を投影するだけでも、分類器の予測を著しく変化させることができ、深層モデルが空間的に局所化された摂動に極めて感受性を示すことを示した。
• カメラノイズ、色温度のずれ、表面のテクスチャに起因する光の反射の変動といった現実世界の制約にもかかわらず、攻撃は効果を維持した。
• 攻撃の成功は、物体のサイズや位置に依存しているわけではなく、大型の物体（例：トラック）ですら感受性を示したため、視覚的複雑さやモデルバイアスが重要な役割を果たしていると考えられる。