[논문 리뷰] Robust Trajectory Prediction against Adversarial Attacks

Yulong Cao, Danfei Xu외 5명|arXiv (Cornell University)|2022. 07. 29.

Adversarial Robustness in Machine Learning인용 수 10

한 줄 요약

이 논문은 자율주행 환경에서 적대적 공격에 대한 강건성을 향상시키기 위해 새로운 적대적 훈련 프레임워크인 RobustTraj을 제안한다. 기울기 기반 적대적 예제 생성을 위한 결정론적 공격, 정리화 및 정규화 항을 포함하는 하이브리드 손실, 도메인 특화 데이터 증강 기법을 도입함으로써 RobustTraj는 정상 데이터 성능에 3%의 성능 저하만을 초래하면서도 적대적 공격에 대한 강건성을 46% 향상시켰으며, 후속 계획 수립에서 충돌률을 크게 감소시켰다.

ABSTRACT

Trajectory prediction using deep neural networks (DNNs) is an essential component of autonomous driving (AD) systems. However, these methods are vulnerable to adversarial attacks, leading to serious consequences such as collisions. In this work, we identify two key ingredients to defend trajectory prediction models against adversarial attacks including (1) designing effective adversarial training methods and (2) adding domain-specific data augmentation to mitigate the performance degradation on clean data. We demonstrate that our method is able to improve the performance by 46% on adversarial data and at the cost of only 3% performance degradation on clean data, compared to the model trained with clean data. Additionally, compared to existing robust methods, our method can improve performance by 21% on adversarial examples and 9% on clean data. Our robust model is evaluated with a planner to study its downstream impacts. We demonstrate that our model can significantly reduce the severe accident rates (e.g., collisions and off-road driving).

연구 동기 및 목표

• 자율주행에서 딥러닝 기반 궤적 예측 모델의 적대적 공격에 대한 취약성을 해결하기 위해.
• 궤적 예측에 사용되는 확률적, 조건부 생성 모델에 대한 적대적 훈련의 과제를 극복하기 위해.
• 정상 데이터에 대한 성능 저하를 최소화하면서 적대적 예제에 대한 강건성을 극대화하기 위해.
• 강건한 궤적 예측의 후속 영향이 자율주행 차량의 안전성 및 계획 수립에 미치는 영향을 평가하기 위해.
• 다양한 궤적 예측 아키텍처에 적용 가능한 일반화 가능한 프레임워크를 개발하기 위해.

제안 방법

• 확률적 구성요소(예: VAE의 사후 샘플링)를 거쳐도 미분 가능 경로를 제공하는 결정론적 공격을 제안하여 기울기 기반 적대적 예제 생성을 효과적으로 가능하게 한다.
• 정상 데이터 최적화와 적대적 훈련을 번갈아 적용하는 하이브리드 훈련 목표를 도입하여 모델의 출력 분포를 안정화하고 분포 이탈을 방지한다.
• 조건부 변수에 대한 정규화 손실($\mathcal{L}_{\text{reg}}$)을 적용하여 훈련을 안정화하고 강건성을 향상시킨다.
• 실제로 가능하고 현실적인 궤적을 생성하는 동적이고 도메인 특화된 데이터 증강 기법을 적용하여 정상 및 적대적 데이터 모두에서 일반화 능력을 향상시킨다.
• 내부 최대화는 결정론적 공격을 사용하고 외부 최소화에는 정상 데이터 및 정규화 손실이 포함된 최소-최대 적대적 훈련 프레임워크를 사용한다.
• AgentFormer(CVAE 기반) 및 Social-GAN(cGAN 기반)이라는 두 개의 최신 모델에 프레임워크를 검증하여 다양한 아키텍처에 대한 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 VAE와 같은 확률적 구성요소를 가진 확률적 궤적 예측 모델에 대해 적대적 훈련을 효과적으로 적용할 수 있는가?
• RQ2 모델 훈련 중에 적대적 예제의 분포가 모델과 함께 공진화할 때 적대적 훈련을 어떻게 안정화할 수 있는가?
• RQ3 궤적 예측에서 정상 데이터 성능과 적대적 공격에 대한 강건성 간의 균형을 이루는 데 어떤 손실 구성 요소가 필요한가?
• RQ4 도메인 특화 데이터 증강이 궤적 예측에서 정상 및 적대적 성능 간의 트레이드오프를 향상시킬 수 있는가?
• RQ5 강건한 궤적 예측이 자율주행 차량의 안전성 및 계획 수립에 어떤 후속 영향을 미치는가?

주요 결과

• RobustTraj는 정상 데이터만으로 훈련하는 것에 비해 AgentFormer 모델에서 적대적 성능을 46% 향상시켰으며, 정상 데이터 성능은 3% 뿐 저하되었다.
• 기존의 강건한 훈련 방법에 비해 적대적 예제에서 성능을 21% 향상시키고, 정상 데이터에서 9% 향상시켰다.
• 결정론적 공격는 공격 효과성과 강건성 향상 모두에서 잠재변수 공격 및 컨텍스트 공격를 능가했으며, $\epsilon=1.0$에서 가장 낮은 강건 ADE 3.82를 기록했다.
• 정상 손실($\mathcal{L}_{\text{clean}}$)과 정규화 손실($\mathcal{L}_{\text{reg}}$)을 추가함으로써 정상 및 강건 성능이 모두 향상되었고, 훈련이 안정화되었다.
• 도메인 특화 증강 기법이 가장 우수한 성능 트레이드오프를 달성했으며, 모든 구성 요소를 결합했을 때 $\epsilon=1.0$에서 강건 ADE를 3.82까지 낮췄다.
• 플래너에 통합된 강건 모델은 심각한 사고 비율을 크게 감소시켰으며, 충돌 및 차선 이탈과 같은 사고를 줄였다. 이는 실제 안전성에 미치는 영향을 입증한다.