[논문 리뷰] IoU Attack: Towards Temporally Coherent Black-Box Adversarial Attack for Visual Object Tracking

Shuai Jia, Yibing Song외 2명|arXiv (Cornell University)|2021. 03. 27.

Adversarial Robustness in Machine Learning참고 문헌 43인용 수 5

한 줄 요약

이 논문은 예측된 교차합집합(IoU) 점수를 순차적 프레임 간에 활용하여 시간적으로 일관된 교란을 생성함으로써 시각적 객체 추적을 위한 决책 기반(black-box) 적대적 공격인 IoU 공격을 제안한다. 반복적으로 교란을 최적화하고 프레임 간으로 전달함으로써 이 방법은 추적기 성능을 크게 떨어뜨리며, 모델 아키텍처 지식이 없이도 최신 추적기에서 F-스코어 최대 27.5% 감소를 달성한다.

ABSTRACT

Adversarial attack arises due to the vulnerability of deep neural networks to perceive input samples injected with imperceptible perturbations. Recently, adversarial attack has been applied to visual object tracking to evaluate the robustness of deep trackers. Assuming that the model structures of deep trackers are known, a variety of white-box attack approaches to visual tracking have demonstrated promising results. However, the model knowledge about deep trackers is usually unavailable in real applications. In this paper, we propose a decision-based black-box attack method for visual object tracking. In contrast to existing black-box adversarial attack methods that deal with static images for image classification, we propose IoU attack that sequentially generates perturbations based on the predicted IoU scores from both current and historical frames. By decreasing the IoU scores, the proposed attack method degrades the accuracy of temporal coherent bounding boxes (i.e., object motions) accordingly. In addition, we transfer the learned perturbations to the next few frames to initialize temporal motion attack. We validate the proposed IoU attack on state-of-the-art deep trackers (i.e., detection based, correlation filter based, and long-term trackers). Extensive experiments on the benchmark datasets indicate the effectiveness of the proposed IoU attack method. The source code is available at https://github.com/VISION-SJTU/IoUattack.

연구 동기 및 목표

• 실제 응용에서 모델 아키텍처가 알려지지 않은 상황에서 시각적 객체 추적을 위한 효과적인 블랙박스 적대적 공격의 부족을 해결하기 위해.
• 공간적 바운딩 박스 정확도와 영상 프레임 간 운동 일관성을 동시에 타겟으로 삼아 시간적으로 일관성을 유지하는 결정 기반 공격을 개발하기 위해.
• 프레임 간 교란 전이를 통해 시간적 추적기 성능 저하를 강화함으로써 공격 효과를 향상시키기 위해.
• 검출 기반, 상관 필터 기반, 장기 추적기 포함 다양한 최신 추적기에서 방법을 검증하기 위해.
• IoU 피드백을 통해 최적화된 교란이 무작위 노이즈나 정적 이미지 공격 방법보다 더 효과적인지 입증하기 위해.

제안 방법

• 이 방법은 추적기의 출력을 쿼리하여 현재 및 이전 프레임의 예측된 바운딩 박스와 진짜 바운딩 박스 간의 IoU 점수를 확보하는 결정 기반 접근법을 사용한다.
• 반복적인 수직 조합 방법을 적용한다: 동일한 노이즈 수준으로 탄성 교란을 생성하고, IoU를 최소화하는 것을 선택한 후, 가장 효과적인 방향으로 노이즈를 증가시키기 위해 수직 교란을 추가한다.
• 시간적 일관성을 확보하기 위해 현재 프레임과 이전 프레임의 바운딩 박스 간 IoU 점수를 교란 선택 과정에 통합한다.
• 교란을 한 프레임에서 다음 프레임으로 전달하여 후속 프레임에서 공격을 초기화함으로써 시간적 공격 효과를 향상시킨다.
• 공격은 프레임 단위로 적용되며, 추적기 예측에서 실시간 피드백을 기반으로 교란을 최적화함으로써 정밀성과 높은 공격 성공률을 확보한다.
• 이 방법은 네트워크 가중치나 아키텍처에 대한 액세스가 필요 없으며, 분류 및 국소화 출력에만 의존한다.

실험 결과

연구 질문

• RQ1 모델 아키텍처에 대한 액세스 없이도 시각적 객체 추적 성능을 떨어뜨릴 수 있는 블랙박스 적대적 공격를 설계할 수 있는가?
• RQ2 시각적 객체 추적에서 시간적 운동 일관성을 어떻게 활용하여 적대적 공격의 효과를 향상시킬 수 있는가?
• RQ3 프레임 간 교란 전이가 독립적 프레임 공격에 비해 영상 추적에서 공격 성공률을 향상시키는가?
• RQ4 제안된 IoU 기반 피드백 메커니즘은 표준 분류 기반 공격 방법에 비해 추적기 공격 효율성 측면에서 어떻게 비교되는가?
• RQ5 이 공격은 단기, 장기, 상관 필터 기반 추적기 포함 다양한 추적기 유형에서 얼마나 성능 저하를 유도하는가?

주요 결과

• IoU 공격는 SiamRPN++에서 F-스코어 27.5% 감소, DiMP에서 27.3% 감소, LTMU에서 14.8% 감소를 기록하여 무작위 노이즈 및 기초 블랙박스 방법보다 뚜렷이 뛰어난 성능을 보였다.
• SiamRPN++에서 EAO 점수는 19.6% 감소했으며, 정밀도는 26.1% 감소하여 블랙박스 환경에서 SPARK 및 UAP를 능가했다.
• 절단 실험을 통해 시간적 IoU 점수를 통합함으로써 공간적 IoU 피드백만 사용한 경우보다 공격 성능 향상이 확인되었다.
• 이전 프레임에서의 교란 전이가 공격 성공률 향상에 기여했으며, 초기화된 교란을 사용할 경우 성능 저하가 명확히 증가함을 입증했다.
• ℓ₂ 노름이 증가함에 따라 실패율이 비례적으로 증가함에도 불구하고 공격은 여전히 효과적이었으며, 이는 방법의 강건성과 제어 가능성 확인했다.
• 정성적 결과에서는 IoU 공격가 추적기 예측의 심각한 이탈을 유도한 반면, 동일한 수준의 무작위 노이즈는 최소한의 영향을 미쳤다. 이는 교란이 추적 방해를 위해 최적화되었음을 증명했다.