[論文レビュー] Fooling thermal infrared pedestrian detectors in real world using small bulbs

Xiaopei Zhu, Xiao Li+3 more|arXiv (Cornell University)|Jan 20, 2021

Video Surveillance and Tracking Methods参考文献 23被引用数 6

ひとこと要約

本論文は、小型の電球を埋め込んだ安価で携帯可能なボードを用いて、現実世界の熱赤外線歩行者検出器をだます物理的 adversarial 攻撃を提案する。熱放射パターンを活用することで、実世界のテストにおいて YOLOv3 の平均精度を 34.48% 減少させ、最先端の赤外線検出システムに対して高い転送性と実用的妥当性を示した。

ABSTRACT

Thermal infrared detection systems play an important role in many areas such as night security, autonomous driving, and body temperature detection. They have the unique advantages of passive imaging, temperature sensitivity and penetration. But the security of these systems themselves has not been fully explored, which poses risks in applying these systems. We propose a physical attack method with small bulbs on a board against the state of-the-art pedestrian detectors. Our goal is to make infrared pedestrian detectors unable to detect real-world pedestrians. Towards this goal, we first showed that it is possible to use two kinds of patches to attack the infrared pedestrian detector based on YOLOv3. The average precision (AP) dropped by 64.12% in the digital world, while a blank board with the same size caused the AP to drop by 29.69% only. After that, we designed and manufactured a physical board and successfully attacked YOLOv3 in the real world. In recorded videos, the physical board caused AP of the target detector to drop by 34.48%, while a blank board with the same size caused the AP to drop by 14.91% only. With the ensemble attack techniques, the designed physical board had good transferability to unseen detectors. We also proposed the first physical multispectral (infrared and visible) attack. By using a combination method, we successfully hide from the visible light and infrared object detection systems at the same time.

研究の動機と目的

• 現実世界の状況において、熱赤外線歩行者検出システムが物理的 adversarial 攻撃に対してどれほど脆弱であるかを調査すること。
• 特定の熱放射パターンを発生させる小型電球を配置した安価で携帯可能な物理的攻撃装置を設計・実装すること。
• 攻撃の転送性を、異なる最先端の赤外線歩行者検出器間で評価すること。
• 空白のボードなどのベースライン制御と比較して、現実世界の条件下での攻撃効果を定量化すること。
• アンサンブルベースのパッチ設計を活用して、訓練時に使用しなかった検出器への一般化を向上させること。

提案手法

• 35cm × 35cm の段ボールに小型電球を配置し、特定の熱放射パターンを発生させる物理的攻撃ボードを設計する。
• 8個の4.5V電池で駆動される専用回路を用い、電球の熱放射をリアルタイムで制御する。
• ガウス関数に基づくパターンとピクセル単位の摂動を用いて、デジタルドメインで adversarial パッチを生成する。
• YOLOv3、Faster R-CNN、Mask R-CNN のモデルアンサンブルを用いて、パッチの訓練を行い、転送性を向上させる。
• 実世界の照明および環境条件下で、熱赤外線カメラ（HTI-301、384×288解像度、NETD <60mK）を用いて、熱放射パターンのシミュレーションと検証を行う。
• 実際の歩行者が物理的ボード、空白のボード、または何も持たない状態で実施する制御実験を通じて、検出失敗率を測定する。

実験結果

リサーチクエスチョン

• RQ1 現実世界の条件下で、物理的 adversarial 攻撃を熱赤外線歩行者検出器に対して成功裏に実行できるか？
• RQ2 電球を用いた熱放射パターンは、最先端の赤外線オブジェクト検出器の性能をどれほど低下させるか？
• RQ3 訓練時に使用しなかった検出器への攻撃の転送性は、どの程度高いか？
• RQ4 寸法と形状が類似した無害な物体が引き起こす影響と比較して、物理的攻撃はどの程度優れているか？
• RQ5 アンサンブルベースの訓練は、複数の検出器アーキテクチャにわたる adversarial パッチの転送性を向上させられるか？

主な発見

• 物理的ボードは、実世界の動画記録において YOLOv3 の平均精度（AP）を 34.48% 減少させた。一方、同じサイズの空白ボードでは 14.91% の低下にとどまった。
• デジタル世界では、提案されたパッチが YOLOv3 の AP を 64.12% 減少させ、空白ボードの 29.69% の低下を大きく上回った。
• アンサンブルベースのパッチは、デジタル評価において Cascade R-CNN で AP を 35.28%、RetinaNet で 46.95% 減少させ、強い転送性を示した。
• 実世界のテストでは、アンサンブルパッチが Cascade R-CNN で AP を 21.67%、RetinaNet で 25.17% 減少させ、マルチモデル間での有効性を確認した。
• 物理的攻撃は、歩行者がボードを遮蔽することで 1853 フレームで検出不能にしたが、空白ボードでは検出が安定していた。
• 物理的セットアップの総コストは 5ドル未満であり、実世界への展開においても効果的かつ経済的に実現可能であることを示した。