[논문 리뷰] Fooling Detection Alone is Not Enough: Adversarial Attack against Multiple Object Tracking

Yunhan Jia, Yantao Lu외 5명|arXiv (Cornell University)|2020. 04. 30.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 56

한 줄 요약

이 논문은 자율주행 시스템의 전체 시각 인식 파이프라인을 공격하기 위해 다중 객체 추적(MOT)의 취약점을 악용하는 새로운 유형의 적대적 공격인 트래커 해킹을 소개한다. 이 공격은 객체 검출에만 초점을 맞추는 것이 아니라, MOT의 전체적인 내재적 안정성에 영향을 주며, 단 한 프레임의 적대적 예제로도 객체 궤적을 거의 100%의 성공률로 조작할 수 있다. 이는 단순히 검출을 속이는 것만으로는 충분하지 않음을 보여주며, MOT의 안정성을 봉합하기 위해서는 검출 공격 성공률가 98% 이상이 필요하다는 것을 시사한다.

ABSTRACT

Recent work in adversarial machine learning started to focus on the visual perception in autonomous driving and studied Adversarial Examples (AEs) for object detection models. However, in such visual perception pipeline the detected objects must also be tracked, in a process called Multiple Object Tracking (MOT), to build the moving trajectories of surrounding obstacles. Since MOT is designed to be robust against errors in object detection, it poses a general challenge to existing attack techniques that blindly target objection detection: we find that a success rate of over 98% is needed for them to actually affect the tracking results, a requirement that no existing attack technique can satisfy. In this paper, we are the first to study adversarial machine learning attacks against the complete visual perception pipeline in autonomous driving, and discover a novel attack technique, tracker hijacking, that can effectively fool MOT using AEs on object detection. Using our technique, successful AEs on as few as one single frame can move an existing object in to or out of the headway of an autonomous vehicle to cause potential safety hazards. We perform evaluation using the Berkeley Deep Drive dataset and find that on average when 3 frames are attacked, our attack can have a nearly 100% success rate while attacks that blindly target object detection only have up to 25%.

연구 동기 및 목표

• 자율주행 파이프라인에서 다중 객체 추적(MOT)의 안정성에 대한 고려를 생략한 기존의 적대적 공격에 대한 격차를 메우기 위해.
• 기존 공격들이 객체 검출 성공률가 높음에도 불구하고 왜 MOT를 교란하지 못하는지 조사하기 위해.
• MOT의 추적 메커니즘의 취약점을 악용하여 효과적으로 MOT를 손상시키는 새로운 공격 전략을 개발하기 위해.
• 전체 인지 파이프라인, 특히 궤적 조작을 포함한 실제 안전성 영향을 평가하기 위해.

제안 방법

• 단지 검출 단계가 아니라 추적 모듈을 전용으로 공격하는 새로운 기법인 '트래커 해킹'을 설계하기 위해.
• MOT를 교란하기 위해 요구되는 높은 성공률 기준(98% 이상)을 충족시키더라도 효과적인 적대적 예제를 생성하기 위해.
• 실제 자율주행 시나리오를 시뮬레이션하고 공격 성공률를 여러 프레임에 걸쳐 평가하기 위해 버클리 딥 드라이브 데이터셋을 사용하기 위해.
• 단일 프레임 공격에서도 추적 실패를 유도할 수 있도록 최소한의 프레임 수를 최적화하기 위해 적대적 변형을 최적화하기 위해.
• 객체 검출과 추적 모듈 간의 상호작용을 분석하여 MOT가 적대적 입력에 대해 어떻게 반응하는지 취약점을 규명하기 위해.
• 동일한 조건에서 기존의 검출 전용 공격과의 성능 비교를 수행하기 위해.

실험 결과

연구 질문

• RQ1 기존의 적대적 공격들이 객체 검출 성공률가 높음에도 불구하고 왜 다중 객체 추적(MOT)을 교란하지 못하는가?
• RQ2 MOT 결과를 성공적으로 조작하기 위해 객체 검출에서 최소한의 공격 성공률는 얼마여야 하는가?
• RQ3 추적 메커니즘을 직접 악용하여 최소한의 프레임 변형으로 궤적 조작이 가능한 적대적 예제를 설계할 수 있는가?
• RQ4 실제 자율주행 시나리오에서 트래커 해킹은 검출 전용 공격보다 얼마나 효과적인가?
• RQ5 자율주행 차량의 주행 간격에서 객체 궤적을 조작하는 적대적 공격의 안전성 영향은 무엇인가?

주요 결과

• 3개의 프레임을 공격할 경우, 제안된 트래커 해킹 방법은 객체 궤적을 거의 100%의 성공률로 조작할 수 있다.
• 반면에 기존의 검출 전용 공격은 동일한 조건에서 최대 25%의 성공률에 그친다.
• 연구 결과에 따르면 MOT를 효과적으로 교란하기 위해서는 검출 공격 성공률가 98% 이상이어야 하며, 이는 기존 기법들이 충족하지 못하는 기준이다.
• 단 한 장의 적대적 프레임만으로도 추적 중인 객체가 차량의 주행 간격에 삽입되거나 제거될 수 있으며, 이는 직접적인 안전 위험을 초래한다.
• 결과적으로, 단지 객체 검출을 속이는 것으로는 전체 인지 파이프라인에 대한 효과적인 적대적 공격를 달성하기에는 부족하다는 것을 입증한다.
• 트래커 해킹 방법은 검출과 추적 간의 상호작용을 효과적으로 악용하여, 검출 중심 공격보다 훨씬 더 효과적인 것으로 나타났다.