[论文解读] Few-Shot Backdoor Attacks on Visual Object Tracking

Yiming Li, Haoxiang Zhong+3 more|arXiv (Cornell University)|Jan 31, 2022

Video Surveillance and Tracking Methods被引用 21

一句话总结

本文提出了一种面向 Siamese-network 基的视觉目标跟踪器的少样本、非目标导向后门攻击（FSBA），在特征空间嵌入隐藏后门，当触发器出现时会降低跟踪性能；即使触发器只出现在少量帧中也有效，在数字与物理设定下均有攻击效果，并对某些防御具有一定鲁棒性。

ABSTRACT

Visual object tracking (VOT) has been widely adopted in mission-critical applications, such as autonomous driving and intelligent surveillance systems. In current practice, third-party resources such as datasets, backbone networks, and training platforms are frequently used to train high-performance VOT models. Whilst these resources bring certain convenience, they also introduce new security threats into VOT models. In this paper, we reveal such a threat where an adversary can easily implant hidden backdoors into VOT models by tempering with the training process. Specifically, we propose a simple yet effective few-shot backdoor attack (FSBA) that optimizes two losses alternately: 1) a \emph{feature loss} defined in the hidden feature space, and 2) the standard \emph{tracking loss}. We show that, once the backdoor is embedded into the target model by our FSBA, it can trick the model to lose track of specific objects even when the \emph{trigger} only appears in one or a few frames. We examine our attack in both digital and physical-world settings and show that it can significantly degrade the performance of state-of-the-art VOT trackers. We also show that our attack is resistant to potential defenses, highlighting the vulnerability of VOT models to potential backdoor attacks.

研究动机与目标

• 证明 VOT 模型可通过外包训练或第三方模型遭遇后门攻击而暴露漏洞。
• 提出一种非目标、少样本的后门攻击，在最小污染下仍具有效性。
• 展示攻击在数字与物理环境中均有效，并对潜在防御具有鲁棒性。
• 将 FSBA 与基线 BOBA 进行对比，以突出其有效性与隐蔽性。

提出的方法

• 基于主干特征之间的干净输入与被污染输入距离，定义特征空间后门损失 L_f。
• 采用交替的多任务目标进行训练：最大化 L_f 以实现后门注入，最小化标准跟踪损失 L_t 以维持正常跟踪。
• 仅污染训练帧中的很小一部分，以降低计算并保留良好性能。
• 使用逐帧的污染视频生成器 G(I; t)，在选定帧中注入触发 t。
• 探索单-shot（初始帧触发）和少-shot（前 τ% 帧触发）两种攻击模式。
• 在三种 Siamese 跟踪器（SiamFC、SiamRPN++、SiamFC++）上，在 OTB100 和 GOT10K 数据集上使用 Pr、AUC 与 mSR50 指标进行评估。

实验结果

研究问题

• RQ1 能否通过少样本污染将后门嵌入 VOT 模型，在触发出现时导致跟踪失败？
• RQ2 FSBA 是否在有效性与隐蔽性方面优于基线 BOBA 以用于 VOT 任务？
• RQ3 FSBA 是否能迁移到物理世界设定并对常见防御具有鲁棒性？
• RQ4 触发出现的帧率、触发器设计如何影响不同跟踪器与数据集上的 FSBA 效果？

主要发现

Dataset	Model	Metric	No Attack	One-Shot	Few-Shot
OTB100	SiamFC	Pr-B	79.23	72.43	74.03
OTB100	SiamFC	AUC-B	58.93	54.06	54.44
OTB100	SiamFC++	Pr-B	84.38	80.89	82.80
OTB100	SiamFC++	AUC-B	64.13	59.79	61.51
OTB100	SiamRPN++	Pr-B	84.37	82.78	83.81
OTB100	SiamRPN++	AUC-B	63.18	61.64	62.15
GOT10K	SiamFC	mSR50-B	62.03	58.19	57.81
GOT10K	SiamFC	AUC-B	53.93	50.55	50.47
GOT10K	SiamRPN++	mSR50-B	78.24	77.37	72.50
GOT10K	SiamRPN++	AUC-B	67.38	66.69	62.03
GOT10K	SiamFC++	mSR50-B	86.15	83.70	84.88
GOT10K	SiamFC++	AUC-B	72.17	69.60	70.53

• FSBA 显著降低跟踪性能，在 OTB100 和 GOT10K 上对 SiamRPN++ 与 SiamFC++ 的表现优于 BOBA。
• 在 SiamFC++ 上，FSBA 对两组数据集的一Shot 触发使 AUC 下降超过 30%，而 BOBA 下降不到 5%。
• FSBA 相较于 BOBA 更具隐蔽性，良性视频上的性能在很大程度上得以保留（AUC-B 与 Pr-B 接近良性）。
• FSBA 在物理世界测试中仍然有效，真实物体上的印刷触发器会导致目标跟踪的欠跟踪或错跟踪行为。
• FSBA 对若干防御具有抵抗力，包括轻量帧预处理和对被攻击模型的温和微调。
• 即便触发仅出现在少数帧（少-shot）或仅在初始帧（one-shot），攻击仍然有效。