[논문 리뷰] Practical Adversarial Attacks on Spatiotemporal Traffic Forecasting Models

Fan Liu, Hao Liu외 1명|arXiv (Cornell University)|2022. 10. 05.

Traffic Prediction and Management Techniques인용 수 15

한 줄 요약

이 논문은 실시간 지오분산 센서 환경에서의 실질적이고 모델에 종속되지 않는 스펙트로템포럴 교통 예측 모델을 대상으로 한 적대적 공격 프레임워크를 제안한다. 이 프레임워크는 반복적인 기울기 지도형 중요도 분석을 통해 시간에 따라 변화하는 피해 노드를 식별하고, 허용 가능한 편향 제약 조건 하에서 공간시계적 기울기 강하를 사용하여 실수값을 갖는 적대적 교통 상태를 생성한다. 이 방법은 최신 모델에서 최대 67.8%의 성능 저하를 이끌어내며, 향상된 내성 확보를 위한 효과적인 적대적 훈련을 가능하게 한다.

ABSTRACT

Machine learning based traffic forecasting models leverage sophisticated spatiotemporal auto-correlations to provide accurate predictions of city-wide traffic states. However, existing methods assume a reliable and unbiased forecasting environment, which is not always available in the wild. In this work, we investigate the vulnerability of spatiotemporal traffic forecasting models and propose a practical adversarial spatiotemporal attack framework. Specifically, instead of simultaneously attacking all geo-distributed data sources, an iterative gradient-guided node saliency method is proposed to identify the time-dependent set of victim nodes. Furthermore, we devise a spatiotemporal gradient descent based scheme to generate real-valued adversarial traffic states under a perturbation constraint. Meanwhile, we theoretically demonstrate the worst performance bound of adversarial traffic forecasting attacks. Extensive experiments on two real-world datasets show that the proposed two-step framework achieves up to $67.8\%$ performance degradation on various advanced spatiotemporal forecasting models. Remarkably, we also show that adversarial training with our proposed attacks can significantly improve the robustness of spatiotemporal traffic forecasting models. Our code is available in \url{https://github.com/luckyfan-cs/ASTFA}.

연구 동기 및 목표

• 실세계의 지오분산 센서 환경에서 스펙트로템포럴 교통 예측 모델이 적대적 공격에 얼마나 취약한지 조사하는 것.
• 제한된 공격 예산 하에서 최소한의 시간에 따라 변화하는 중요도가 높은 피해 노드 집합을 식별하는 과제를 해결하는 것.
• 미래의 진실값에 접근할 수 없음에도 불구하고 인간이 인지하기 어려운 편향 제약 조건 하에서 현실적인 실수값을 갖는 적대적 교통 상태를 생성하는 것.
• 스펙트로템포럴 교통 예측 모델에 대한 적대적 공격의 최악의 성능 저하를 이론적으로 경계하는 것.
• 제안된 공격을 사용한 적대적 훈련이 모델의 내성 확보를 향상시키는 데 효과적인지 평가하는 것.

제안 방법

• 공격 예산이 제한된 상황에서 공격 영향을 최대화하기 위해 반복적인 기울기 지도형 중요도 분석을 통해 피해 노드의 소규모이고 시간에 따라 변화하는 부분집합을 식별한다.
• 공간시계적 기울기 강하 기법을 사용하여 허용 가능한 편향 제약 조건 하에서 변형을 최적화함으로써 실수값을 갖는 적대적 교통 상태를 생성한다.
• 공격 프레임워크는 모델 아키텍처에 종속되지 않으며 화이트박스, GRAY박스, 블랙박스 공격 설정을 모두 지원한다.
• 이론적 분석을 통해 피해 노드 수, 편향 경계, 네트워크 차수를 바탕으로 공격 성능의 상한선을 유도한다.
• 생성된 적대적 예시를 통합함으로써 적대적 훈련을 향상시켜 내성 확보를 향상시킨다.
• 다양한 최신 예측 모델을 사용하여 두 개의 실세계 데이터셋에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 지오분산된 노드의 소규모이고 시간에 따라 변화하는 부분집합을 공격할 경우 스펙트로템포럴 교통 예측 모델의 전반적 성능에 어떤 영향을 미치는가?
• RQ2 미래의 진실값에 접근할 수 없음에도 불구하고 현실적인 실수값을 갖는 적대적 교통 상태를 어떻게 생성할 수 있는가?
• RQ3 스펙트로템포럴 교통 예측 모델에 대한 적대적 공격의 최악의 성능 저하를 규명하는 이론적 경계는 무엇인가?
• RQ4 제안된 공격을 사용한 적대적 훈련이 모델의 내성 확보를 상당히 향상시킬 수 있는가?
• RQ5 이 공격 프레임워크는 다양한 모델 아키텍처와 공격 설정 간에 얼마나 일반화 가능한가?

주요 결과

• 제안된 공격 프레임워크는 최신 스펙트로템포럴 교통 예측 모델에서 최대 67.8%의 성능 저하를 달성하였으며, 정점 시간대에는 피해 노드에서 60.4%의 정확도 감소가 관찰되었다.
• 공격은 공간시계적 정보 전파로 인해 인근 노드에서 최대 47.23%의 정확도 저하를 유도하여 전반적인 영향을 보였다.
• PeMS-BAY 데이터셋에서 노드의 10%를 공격하면 전역 평균 절대오차(MAE)가 1.975에서 6.1329로 증가하여 오차가 210% 증가하였다.
• 확장된 화이트박스 및 블랙박스 설정에서 공격은 각각 68.65%와 56.67%의 성능 저하를 유도하여 그 일반화 능력을 확인하였다.
• 제안된 적대적 예시(AT-TDNS)를 사용한 적대적 훈련은 PGD-Centrality 공격 하에서 MAE를 2.4474로 낮춰 표준 적대적 훈련 및 Mixup보다 뛰어난 성능을 보였다.
• 이론적 분석을 통해 내성 확보가 피해 노드 수, 최대 편향 경계, 최대 네트워크 차수에 의존한다는 것이 확인되었다.