[논문 리뷰] Temporally-Transferable Perturbations: Efficient, One-Shot Adversarial Attacks for Online Visual Object Trackers

Krishna Kanth Nakka, Mathieu Salzmann|arXiv (Cornell University)|2020. 12. 30.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 온라인 시각 객체 추적기용 일회성, 시간적으로 이식 가능한 적대적 공격을 제안한다. 이 방법은 객체 템플릿에서 단일 변형을 생성하며, 이후 모든 검색 프레임에 거의 영향을 주지 않는 계산 비용으로 적용된다. 기존의 연구에 비해 표준 벤치마크에서 뛰어난 공격 성공률를 달성하면서도, 복잡한 궤적 조작을 위한 사전 계산된 방향성 변형을 통해 타겟 추적을 가능하게 한다.

ABSTRACT

In recent years, the trackers based on Siamese networks have emerged as highly effective and efficient for visual object tracking (VOT). While these methods were shown to be vulnerable to adversarial attacks, as most deep networks for visual recognition tasks, the existing attacks for VOT trackers all require perturbing the search region of every input frame to be effective, which comes at a non-negligible cost, considering that VOT is a real-time task. In this paper, we propose a framework to generate a single temporally transferable adversarial perturbation from the object template image only. This perturbation can then be added to every search image, which comes at virtually no cost, and still, successfully fool the tracker. Our experiments evidence that our approach outperforms the state-of-the-art attacks on the standard VOT benchmarks in the untargeted scenario. Furthermore, we show that our formalism naturally extends to targeted attacks that force the tracker to follow any given trajectory by precomputing diverse directional perturbations.

연구 동기 및 목표

• 기존의 온라인 시각 객체 추적기용 적대적 공격가 프레임 단위로 변형을 생성해야 하는 높은 계산 비용 문제를 해결하기 위해.
• 객체 템플릿에서 단 한 번만 변형을 생성하여 모든 비디오 프레임에 적용 가능한 일회성 공격 전략을 개발하기 위해.
• 사전에 계산된 방향성 변형을 사용해 추적기를 사전 정의된 궤적을 따라가게 하는 타겟 공격을 가능하게 하기 위해.
• 실시간 성능를 유지하면서도 공격의 효율성과 효과성을 향상시키기 위해.

제안 방법

• 변형 생성기가 객체 템플릿 이미지에서 단일 적대적 변형을 생성하며, 이는 비디오 시퀀스의 모든 검색 영역에 적용된다.
• 공격 프레임워크는 타겟 방향에 따라 조건화된 조건부 생성기를 사용하여 타겟 추적을 위한 다양한 변형을 생성한다.
• 공격이 추적기를 오도시키면서도 공간 일관성을 유지하기 위해, 속임수 손실과 이동 손실을 조합한 손실 함수를 활용한다.
• 변형은 비디오당 한 번만 생성되며, 템플릿에서의 추론 시간이 8ms 뿐이므로 실시간 적용이 가능하다.
• 분류 및 회귀 손실의 조합을 사용해 종합적으로 최적화하여 추적기의 오예측을 극대화하는 방식으로 엔드 투 엔드로 훈련된다.
• 다양한 백본 아키텍처(예: ResNet, MobileNet, AlexNet)와 추적기(SiamRPN++, SiamMask, SiamFC) 간의 이식 가능성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 객체 템플릿에서 생성된 단일, 일회성 적대적 변형이 모든 비디오 프레임에서 온라인 시앙세 기반 시각 객체 추적기를 효과적으로 속일 수 있는가?
• RQ2 이 방법은 실시간 성능를 유지하면서도, 프레임 단위 공격에 비해 더 높은 공격 성공률를 달성하는가?
• RQ3 변형 생성기를 조정하여 추적기가 사전 정의된 궤적을 따라가게 하는 타겟 공격을 가능하게 할 수 있는가?
• RQ4 이 공격은 다양한 추적기 아키텍처와 백본에 대해 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 OTB100에서 69.5%의 성공률과 90.5%의 정밀도를 달성하여, 최신 기술인 CSA_T(57.3% 및 78.6%)를 초월한다.
• VOT2018에서 65.4%의 성공률과 86.3%의 정밀도를 기록하여, CSA_T(57.3% 및 78.6%)와 CSA_S(21.5% 및 36.4%)를 크게 앞서며 성능을 뛰어나게 한다.
• 절단 분석을 통해 이동 손실 성분이 공격 효과성에 가장 큰 기여를 하며, 최적의 성능는 이동 거리 d=8에서 달성된다.
• 이식 가능성 분석 결과, 공격는 SiamMask와 SiamRPN++(M)으로도 잘 일반화되며, SiamRPN++(M)에서 34.7%의 성공률, SiamMask에서 29.4%의 성공률를 기록하여 대부분의 경우 CSA_T를 능가한다.
• 실시간 성능를 유지하며, 비디오당 단지 8ms의 시간으로 변형을 생성하여 효율적인 온라인 배포가 가능하다.
• 타겟 공격 프레임워크는 사전에 계산된 방향성 변형을 통해 복잡한 궤적 조작을 가능하게 하며, 실험에서 성공적인 조종이 입증되었다.