[논문 리뷰] Fooling Detection Alone is Not Enough: First Adversarial Attack against Multiple Object Tracking

Yunhan Jia, Yantao Lu외 4명|arXiv (Cornell University)|2019. 05. 27.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 19

한 줄 요약

이 논문은 자율주행에서 다중 객체 추적(MOT) 단계를 대상으로 하는 새로운 적대적 공격인 트래커 해킹을 소개한다. 이 공격은 추적 오차 감소 기법을 악용하여 단 한 프레임의 적대적 편향으로도 성공적인 공격를 가능하게 하며, 3개의 프레임을 공격할 경우 Berkeley Deep Drive 데이터셋에서 거의 100%의 성공률를 기록한다. 이는 동일한 조건에서 검출 전용 공격의 최대 성공률인 25%를 크게 뛰어넘는 성과이다.

ABSTRACT

Recent work in adversarial machine learning started to focus on the visual perception in autonomous driving and studied Adversarial Examples (AEs) for object detection models. However, in such visual perception pipeline the detected objects must also be tracked, in a process called Multiple Object Tracking (MOT), to build the moving trajectories of surrounding obstacles. Since MOT is designed to be robust against errors in object detection, it poses a general challenge to existing attack techniques that blindly target objection detection: we find that a success rate of over 98% is needed for them to actually affect the tracking results, a requirement that no existing attack technique can satisfy. In this paper, we are the first to study adversarial machine learning attacks against the complete visual perception pipeline in autonomous driving, and discover a novel attack technique, tracker hijacking, that can effectively fool MOT using AEs on object detection. Using our technique, successful AEs on as few as one single frame can move an existing object in to or out of the headway of an autonomous vehicle to cause potential safety hazards. We perform evaluation using the Berkeley Deep Drive dataset and find that on average when 3 frames are attacked, our attack can have a nearly 100% success rate while attacks that blindly target object detection only have up to 25%.

연구 동기 및 목표

• 자율주행에서 다중 객체 추적(MOT)의 견고성에 대한 고려를 생략하는 바탕에, 객체 검출에만 초점을 맞춘 적대적 기계학습 연구의 격차를 보완하기 위해.
• MOT가 내재된 오차 보정 메커니즘을 고려할 때, 객체 검출에만 적용되는 적대적 공격이 최종 추적 결과에 효과적으로 영향을 미칠 수 있는지 조사하기 위해.
• MOT의 추적 오차 감소 과정을 악용하여 최소한의 적대적 편향으로도 객체 궤적을 오도시키는 새로운 공격 기법을 개발하기 위해.
• Berkeley Deep Drive 데이터셋과 표준 MOT 설정을 사용하여 실제 조건에서 이 새로운 공격의 효과성을 평가하기 위해.
• 향후 자율 시스템을 위한 적대적 기계학습 연구에서 MOT 정확도를 핵심 평가 지표로 삼아야 한다는 것을 주장하기 위해.

제안 방법

• 공격은 MOT의 추적 오차 감소 과정을 공격하여, 검출 결과와 기존 트랙 간의 연관성을 조작함으로써 적대적 바운딩 박스를 생성한다.
• YOLOv3 객체 검출기를 활용하여 추적기가 잘못된 궤적에 검출 결과를 연관시키도록 유도할 수 있도록 설계된 적대적 예제를 생성한다.
• 적대적 편향은 일반적으로 한두 프레임으로 제한되어 특정 객체 위치를 공격하여 궤적의 이탈을 유도한다.
• 이 방법은 MOT가 프레임 간 일관성과 안정성을 바탕으로 트랙을 유지하는 방식을 악용하며, 미세한 적대적 이동을 통해 예측 궤적을 해킹할 수 있다.
• 공격은 실제 노이즈 수준과 표준 MOT 알고리즘 설정(예: IoU 기반 데이터 연동) 하에서 Berkeley Deep Drive 데이터셋을 사용하여 평가된다.
• 이 방법은 다른 검출 모델과 추적 메커니즘(예: 외관 기반 매칭)에도 일반화 가능하며, 소규모 수정만으로도 적용 가능하다.

실험 결과

연구 질문

• RQ1 객체 검출에만 적용되는 적대적 공격이 자율주행 시스템에서 최종 추적 결과에 효과적으로 영향을 미칠 수 있는가?
• RQ2 높은 검출 성공률를 기록함에도 불구하고, 기존의 검출 전용 공격이 왜 MOT에 영향을 미치지 못하는가?
• RQ3 어떻게 적대적 편향을 전략적으로 배치하여 MOT의 오차 보정 메커니즘과 결합하여 최소한의 프레임으로 객체 궤적을 해킹할 수 있는가?
• RQ4 MOT에서 추적 객체의 예측 궤적을 성공적으로 변경하기 위해 필요한 최소 프레임 수는 얼마인가?
• RQ5 동일한 조건에서 트래커 해킹 공격는 검출 전용 공격에 비해 성공률 측면에서 어떻게 비교되는가?

주요 결과

• 3개의 연속 프레임을 공격할 경우 트래커 해킹 공격는 거의 100%의 성공률를 기록하며, 동일 조건에서 최대 25%에 머무르는 검출 전용 공격에 비해 뚜렷한 우월성을 보인다.
• 단 한 프레임의 적대적 프레임으로도 객체 궤적을 성공적으로 변경할 수 있어, 높은 효율성과 낮은 탐지 가능성(저감도)을 입증한다.
• 검출 성공률가 98.3%에 불과하더라도, 검출 전용 공격는 30fps 기준 60개의 연속 성공 프레임이 필요하여 트랙 방해를 안정적으로 유지하지 못함을 확인하였다.
• 트래커 해킹 공격는 실제 노이즈 수준과 표준 MOT 설정 하에서도 강건하며, 실용적 타당성을 확인하였다.
• 이 방법은 다른 객체 검출 모델과 추적 메커니즘(예: 외관 기반 연동)에도 소규모 수정만으로 일반화 가능하다.
• 본 연구는 MOT가 자율주행을 위한 적대적 기계학습 연구에서 간과되고 있는 핵심 요소임을 드러내며, 향후 평가 프레임워크에 포함되어야 한다는 점을 시사한다.