[論文レビュー] Physical Adversarial Textures that Fool Visual Object Tracking

Rey Reza Wiyatno, Anqi Xu|arXiv (Cornell University)|Apr 24, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用数 11

ひとこと要約

本論文では、現実世界の視覚的オブジェクトトラッキングシステムをだます、目立たないポスター状のパターンである物理的対抗テクスチャ（PATs）を紹介する。期待値変換（EOT）フレームワーク内でのガイド付き対抗損失の最適化により、GOTURNなどのトラッカーが多様な照明、角度、視認条件のもとでもターゲットを失うようなテクスチャが生成される。これは、シミュレーションから現実への転送が成功し、強力な対抗的挙動を示していることを示している。

ABSTRACT

We present a system for generating inconspicuous-looking textures that, when displayed in the physical world as digital or printed posters, cause visual object tracking systems to become confused. For instance, as a target being tracked by a robot's camera moves in front of such a poster, our generated texture makes the tracker lock onto it and allows the target to evade. This work aims to fool seldom-targeted regression tasks, and in particular compares diverse optimization strategies: non-targeted, targeted, and a new family of guided adversarial losses. While we use the Expectation Over Transformation (EOT) algorithm to generate physical adversaries that fool tracking models when imaged under diverse conditions, we compare the impacts of different conditioning variables, including viewpoint, lighting, and appearances, to find practical attack setups with high resulting adversarial strength and convergence speed. We further showcase textures optimized solely using simulated scenes can confuse real-world tracking systems.

研究の動機と目的

• 現実世界の設定で動作する物理的に実現可能な対抗テクスチャを開発すること。
• 非ターゲット型、ターゲット型、および新規のガイド付き対抗損失の異なる対抗損失目的を評価・比較し、攻撃効果を向上させること。
• EOTにおけるシーン変数のランダム化が、計算コストを無駄にしない最小限の変換で、物理的対抗性能を向上させる影響を調査すること。
• 非写実的シミュレータで生成されたPATsのシミュレーションから現実への転送を実証すること。
• 視認に難く、目立たない物理的パターンが、視認不能後に再出現した場合でも、ビジョンオンativeトラッキングシステムに持続的な誤分類を引き起こす可能性を強調すること。

提案手法

• 本手法は、カメラの姿勢、照明、背景、オブジェクトの位置の変動をランダムに含む期待値変換（EOT）フレームワークを用いて、物理的対抗テクスチャを最適化する。
• 非ターゲット型とターゲット型の目的の間でバランスを取る新しいガイド付き対抗損失のファミリーを導入し、収束速度と対抗強度の両方を向上させる。
• 視覚的描写、ぼかし、照明の条件を再現する微分可能レンダリングパイプラインを用いて、現実世界の画像条件を模擬する。
• 勾配ベースの更新をテクスチャパターンに適用しながら、摂動が視覚的に目立たないよう制約を課す。
• 距離、角度、動きぼかしの変動を含む多様な物理的条件下でのPATの耐性を評価する。
• 非写実的シミュレータから生成されたテクスチャを物理的なポスターに印刷し、実世界のトラッカーに適用することで、シミュレーションから現実への転送を検証する。

実験結果

リサーチクエスチョン

• RQ1 物理的に実現可能な対抗テクスチャを生成でき、現実世界の設定で視覚的オブジェクトトラッカーがターゲットを追跡できなくなるのだろうか？
• RQ2 非ターゲット型、ターゲット型、およびガイド付き損失といった、異なる対抗損失目的は、物理的対抗攻撃の収束速度と強度にどのように影響するのか？
• RQ3 EOTフレームワークにおけるどのシーン変数をランダム化する必要があるか、計算コストを無駄にしない最小限の変換で物理的対抗性能を達成できるのか？
• RQ4 非写実的シミュレータで訓練された対抗テクスチャは、現実世界のトラッキングシステムへどの程度成功裏に転送可能なのか？
• RQ5 物理的に目立たないテクスチャは、ターゲットが一時的に遮蔽された後にも、トラッカーの誤分類を継続的に引き起こすことができるのか？

主な発見

• ガイド付き対抗損失ファミリーは、非ターゲット型およびターゲット型損失と比較して、収束速度と対抗強度の両方を顕著に向上させた。
• 『ストライプ状のパッチ』を含む物理的対抗テクスチャは、ターゲットが再び現れてもGOTURNが常にテクスチャに注目し、ターゲットを失う現象を一貫して引き起こした。
• 静止状態のトラッキング実験では80回中57回、サーボイング実験では18回中6回で良好な性能を示し、動的条件下でも耐性があることを示した。
• 非写実的シミュレータで最適化されたPATsは、現実世界の環境に成功裏に転送され、カメラやロボットのトラッキングシステムをだました。
• カメラの位置、照明、オブジェクトの配置といった重要なシーン変数のみをランダム化すれば、強力な物理的対抗敵を生成するのに十分であり、不必要な計算コストを回避できた。
• シミュレーションから現実への転送に成功した背景には、GOTURNが合成パターンと実際のターゲットを区別しにくいことが関与している可能性があり、現実世界での効果のメカニズムを示唆している。