[論文レビュー] Infrared Invisible Clothing:Hiding from Infrared Detectors at Multiple Angles in Real World

Xiaopei Zhu, Zhanhao Hu+3 more|arXiv (Cornell University)|May 12, 2022

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

この論文では、気体ゲル織物に周期的かつ展開可能な「QRコード」パターンを施した赤外線不正装着具を提案し、物理世界における複数の視点から赤外線歩行者検出器をかいくぐる。変形やランダムなクロッピングに対して耐性を持つようにパターンを最適化することで、実世界のテストでYOLOv3の平均精度（AP）を64.6%まで低下させ、ランダムパターンや断熱衣装よりも顕著に優れた性能を示した。

ABSTRACT

Thermal infrared imaging is widely used in body temperature measurement, security monitoring, and so on, but its safety research attracted attention only in recent years. We proposed the infrared adversarial clothing, which could fool infrared pedestrian detectors at different angles. We simulated the process from cloth to clothing in the digital world and then designed the adversarial "QR code" pattern. The core of our method is to design a basic pattern that can be expanded periodically, and make the pattern after random cropping and deformation still have an adversarial effect, then we can process the flat cloth with an adversarial pattern into any 3D clothes. The results showed that the optimized "QR code" pattern lowered the Average Precision (AP) of YOLOv3 by 87.7%, while the random "QR code" pattern and blank pattern lowered the AP of YOLOv3 by 57.9% and 30.1%, respectively, in the digital world. We then manufactured an adversarial shirt with a new material: aerogel. Physical-world experiments showed that the adversarial "QR code" pattern clothing lowered the AP of YOLOv3 by 64.6%, while the random "QR code" pattern clothing and fully heat-insulated clothing lowered the AP of YOLOv3 by 28.3% and 22.8%, respectively. We used the model ensemble technique to improve the attack transferability to unseen models.

研究の動機と目的

• 複数の視点から赤外線歩行者検出器を回避できる、着用可能で物理的耐性を持つ手法を開発すること。
• 従来の物理的攻撃が特定の視点（例：正面のみ）でのみ有効であるという制限を克服すること。
• 非剛体的変形や3D衣装の製造過程におけるランダムクロッピング後も有効性を保つ不正パターンを設計すること。
• モデルアンサンブル技術を用いて、未観測のモデルへの攻撃の転送性を向上させること。
• 実世界の物理実験において、さまざまな角度と距離での不正装着具の有効性を検証すること。

提案手法

• デジタル世界で平らな布から3D衣装への変換を微分可能レンダリングパイプラインを用いてシミュレートする。
• ランダムクロッピングや幾何的変形後も有効性を保つ周期的な「QRコード」構造に基づくバイナリ不正パターンを設計する。
• ターゲット検出器（例：YOLOv3）に対して勾配ベースの攻撃法（例：PGD）を用いてパターンを最適化し、性能低下を最大化する。
• 最適化の過程で複数のモデル（例：YOLOv2、YOLOv3、Faster R-CNN、Mask R-CNN）を組み合わせるモデルアンサンブル技術を適用し、未観測モデルへの転送性を向上させる。
• 最終的な衣装を、軽量で断熱性の高い気体ゲルを用いて製造し、不正パターンの赤外線シグネイチャを保持する。
• 赤外線カメラと実際の被験者を用いた実世界評価を実施し、攻撃成功確率（ASR）と平均精度（AP）をさまざまな角度と距離で測定する。

実験結果

リサーチクエスチョン

• RQ1 非剛体的変形やランダムクロッピングを受ける3D衣装に適用された場合でも、有効性を保つ不正パターンを設計できるか？
• RQ2 実世界の条件下で、不正装着具が複数の視点からの赤外線歩行者検出器を物理的に効果的に回避できるか？
• RQ3 異なるディープラーニングモデル間での不正パターンの攻撃転送性は、特に未観測のモデルにおいてどうなるか？
• RQ4 距離と視点角度が、実験における不正装着具の検出回避性能に与える影響は何か？
• RQ5 モデルアンサンブルに基づく最適化は、物理世界の攻撃において不正パターンの転送性と耐性を顕著に向上させられるか？

主な発見

• デジタル世界では、不正「QRコード」パターンによりYOLOv3の平均精度（AP）が87.7%低下し、ランダムパターン（57.9%）や空白パターン（30.1%）を著しく上回った。
• 実世界の実験では、不正装着具によりYOLOv3のAPが64.6%低下したが、ランダムパターンでは28.3%、完全に断熱された衣装では22.8%にとどまった。
• 攻撃成功確率（ASR）は0°（正面）および180°（背面）で最も高く、90°（側面）で最も低く、パターンの可視性が低下したためと推定される。
• 距離が3〜7メートルの範囲ではASRが0.8以上を維持したが、7メートルを超えると空間分解能の低下により急激に低下した。
• モデルアンサンブル最適化により転送性が向上：デジタル世界ではDeformable DETR、RetinaNet、Libra-RCNNのAPがそれぞれ66.9%、58.2%、40.4%低下したが、実世界では51.9%、40.4%、16.2%低下した。
• 空間平滑化や不正訓練といった防御手法は検出性能の向上に僅かに寄与したが、APは12.3%から36.8%に上昇したにとどまり、攻撃後も63.2%の性能低下が残った。