[논문 리뷰] Targeted Adversarial Attacks against Neural Network Trajectory Predictors

Kaiyuan Tan, Jun Wang외 1명|arXiv (Cornell University)|2022. 12. 08.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 DNN 기반 궤적 예측 모델이 사용자가 지정한 목표 궤적을 출력하도록 유도하기 위해 자연스럽고 현실적인 변형을 입력 궤적에 적용하는 타겟팅된 적대적 공격인 TA4TP를 제안한다. 가중치가 부여된 손실과 물리적 제약 조건을 포함하는 제약 조건이 부여된 비선형 최적화 문제로 공격를 수식화함으로써, TA4TP는 Apolloscape 및 nuScenes 데이터셋에서 Trajectron++ 및 Grip++과 같은 최신 기술 모델들에 대해 높은 성공률를 달성한다.

ABSTRACT

Trajectory prediction is an integral component of modern autonomous systems as it allows for envisioning future intentions of nearby moving agents. Due to the lack of other agents' dynamics and control policies, deep neural network (DNN) models are often employed for trajectory forecasting tasks. Although there exists an extensive literature on improving the accuracy of these models, there is a very limited number of works studying their robustness against adversarially crafted input trajectories. To bridge this gap, in this paper, we propose a targeted adversarial attack against DNN models for trajectory forecasting tasks. We call the proposed attack TA4TP for Targeted adversarial Attack for Trajectory Prediction. Our approach generates adversarial input trajectories that are capable of fooling DNN models into predicting user-specified target/desired trajectories. Our attack relies on solving a nonlinear constrained optimization problem where the objective function captures the deviation of the predicted trajectory from a target one while the constraints model physical requirements that the adversarial input should satisfy. The latter ensures that the inputs look natural and they are safe to execute (e.g., they are close to nominal inputs and away from obstacles). We demonstrate the effectiveness of TA4TP on two state-of-the-art DNN models and two datasets. To the best of our knowledge, we propose the first targeted adversarial attack against DNN models used for trajectory forecasting.

연구 동기 및 목표

• DNN 기반 궤적 예측 모델이 적대적 입력에 대해 견고성 평가가 부족한 문제를 해결하기 위해.
• 사용자가 정의한 목표 궤적을 정확히 예측하도록 DNN 예측을 조작하는 타겟팅 공격을 개발하기 위해.
• 궤적의 매끄러움, 차선 유지, 장애물 회피 등의 제약 조건을 통합하여 적대적 입력이 물리적으로 타당하고 안전하도록 보장하기 위해.
• 청결한 입력과 적대적 입력 모두에 랜덤 노이즈를 적용했을 때 DNN 모델의 성능을 평가하고, 이는 탐지 가능성에 대한 시사점을 제공하기 위해.
• 교통 밀도가 궤적 예측 모델에 대한 적대적 공격의 성공률에 영향을 미치는지 조사하기 위해.

제안 방법

• 예측 궤적과 목표 궤적 간의 가중치가 부여된 ℓ₂ 거리 최소화를 목표로 제약 조건이 있는 비선형 최적화 문제로 공격를 수식화하기.
• 목표 궤적의 상태에 동적 가중치를 할당하여 핵심 포인트(예: 제한 구역 내 최종 위치)를 우선시하기.
• 노멀 궤적에의 근접성, 차선 유지, 장애물 회피 등의 물리적 제약 조건을 적용하여 현실성과 안전성을 확보하기.
• DNN 모델에 대한 완전한 화이트박스 액세스 조건에서 기울기 기반 최적화 방법(예: Adam 최적화기)을 사용하여 최적화 문제를 해결하기.
• 타겟 DNN 모델에서 사용된 그래프 기반 어텐션 메커니즘(예: Trajectron++, Grip++)을 통합하여 상호작용 모델링을 구현함으로써 맥락 인식 행동을 유지하기.
• 다양한 교통 상황을 포함하는 두 가지 벤치마크 데이터셋(Apolloscape, nuScenes)과 두 가지 최신 기술 모델(Trajectron++, Grip++)을 대상으로 공격를 검증하기.

실험 결과

연구 질문

• RQ1 사용자가 지정한 특정 궤적을 출력하도록 유도하기 위해 타겟팅된 적대적 변형을 생성할 수 있는가?
• RQ2 제안된 공격가 적대적 입력의 물리적 타당성과 안전성을 유지하는가(예: 차선 내 주행, 장애물 회피)?
• RQ3 청결한 입력과 적대적으로 생성된 입력에 랜덤 노이즈를 적용했을 때 DNN 모델의 성능은 어떻게 되며, 이는 탐지 가능성에 어떤 의미를 갖는가?
• RQ4 교통 밀도가 궤적 예측 모델에 대한 타겟팅된 적대적 공격의 성공률에 영향을 미치는가?
• RQ5 자연적 요인(예: 바람, 도로 미끄러움)에 대한 공격의 강건성은 실제 적용 가능성에 어떤 시사점을 제공하는가?

주요 결과

• TA4TP는 고밀도 교통 상황에서 Trajectron++과 Grip++이 각각 평균 0.215 m와 0.331 m의 편차로 목표 궤적을 예측하도록 성공적으로 유도하였다.
• Apolloscape 데이터셋에서 TA4TP는 Grip++에 대해 평균 편차 0.203 m, Trajectron++에 대해 0.507 m를 기록했으며, 이는 적대적 입력에 랜덤 노이즈가 추가된 경우의 결과였다.
• nuScenes 데이터셋에서는 동일한 노이즈 조건에서 Grip++의 편차가 0.253 m, Trajectron++의 편차가 0.099 m로 나타나, 노이즈에 대한 강건성을 보였다.
• DNN 모델은 적대적 입력 주변에서는 청결한 입력 주변보다 더 높은 노이즈에 대한 강건성을 보였으며, 이는 탐지 신호가 될 수 있음을 시사한다.
• 공격는 대부분의 주변 에이전트가 시나리오에서 제거된 경우에도 효과를 유지하여 상호작용 모델링 감소에 대한 강건성을 보였다.
• 고밀도 환경에서의 낮은 편차(예: 모든 에이전트가 있는 조건에서 Trajectron++의 경우 0.034 m)는 상호작용 모델링이 공격 성공률를 향상시킬 수 있음을 시사하지만, 결과는 모델에 따라 다를 수 있다.