[논문 리뷰] Semi-supervised Semantics-guided Adversarial Training for Trajectory Prediction

Ruochen Jiao, Liu X외 3명|arXiv (Cornell University)|2022. 05. 27.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 반감독형 적대적 오토에코더를 활용해 분리된 의미 특징과 잠재 레이블을 학습함으로써, 궤적 예측에서 적대적 공격에 대한 강건성을 향상시키는 새로운 방법인 반감독형 의미 유도 적대적 훈련(SSAT)을 제안한다. SSAT는 공격 하에서 예측 오차를 최대 73% 감소시키며, 표준 적대적 훈련 및 기준 모델 대비 새로운 공격 유형으로의 일반화 능력을 크게 향상시킨다.

ABSTRACT

Predicting the trajectories of surrounding objects is a critical task for self-driving vehicles and many other autonomous systems. Recent works demonstrate that adversarial attacks on trajectory prediction, where small crafted perturbations are introduced to history trajectories, may significantly mislead the prediction of future trajectories and induce unsafe planning. However, few works have addressed enhancing the robustness of this important safety-critical task.In this paper, we present a novel adversarial training method for trajectory prediction. Compared with typical adversarial training on image tasks, our work is challenged by more random input with rich context and a lack of class labels. To address these challenges, we propose a method based on a semi-supervised adversarial autoencoder, which models disentangled semantic features with domain knowledge and provides additional latent labels for the adversarial training. Extensive experiments with different types of attacks demonstrate that our Semisupervised Semantics-guided Adversarial Training (SSAT) method can effectively mitigate the impact of adversarial attacks by up to 73% and outperform other popular defense methods. In addition, experiments show that our method can significantly improve the system's robust generalization to unseen patterns of attacks. We believe that such semantics-guided architecture and advancement on robust generalization is an important step for developing robust prediction models and enabling safe decision-making.

연구 동기 및 목표

• 적대적 공격 하에서 궤적 예측 모델의 강건성 부족 문제를 해결함으로써, 안전하지 않은 자율 주행 결정을 유도할 수 있음을 방지하기 위해.
• 표준 이미지 기반 적대적 훈련과는 달리, 풍부한 맥락적 입력, 클래스 레이블 부재, 다양한 공격 패턴 등 궤적 예측의 과제를 해결하기 위해.
• 장꼬리형 주행 행동 분포를 가진 회귀 과제에서 새로운 공격 유형으로의 적대적 방어의 일반화 능력을 향상시키기 위해.
• 잠재 공간의 분리 및 잠재 레이블 감독을 적대적 훈련에 통합하여, 양호한 성능을 유지하면서도 강건성을 향상시키기 위해.

제안 방법

• 궤적 데이터로부터 분리된 잠재 표현을 학습하는 반감독형 적대적 오토에코더(AAE)를 제안하며, 도메인 특화된 의미 지식을 통합한다.
• 이중 단계 훈련 파이프라인을 도입한다: 첫 번째 단계에서는 사전 훈련된 특징 추출기가 적대적 예시로 미세조정되고, 두 번째 단계에서는 재구성된 궤적과 의미 레이블을 모두 사용해 잠재 공간을 정규화한다.
• 분리된 잠재 공간을 활용해 의미적 속성(예: 차선 변경, 속도)을 운동 패턴에서 분리함으로써, 더 강건하고 해석 가능한 특징 학습이 가능해진다.
• 궤적 공간 내의 적대적 편향(ADE 공격)을 활용해 제작된 편향을 적용한 적대적 훈련을 수행함으로써, 다양한 실재성 있는 적대적 입력을 생성한다.
• 혼합 데이터 증강 기반 기법(Mixup-SSAT)을 도입하여, 적대적 및 정상 상황에서의 성능를 균형 잡기 위해 적대적 및 정상 샘플을 혼합한다.
• 재구성 손실, 적대적 손실, 잠재 벡터에 대한 대비 손실을 조합한 반감독 손실을 활용하여 분리도 및 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 클래스 레이블에 의존하지 않고도 반감독형 적대적 오토에코더가 궤적 예측의 적대적 강건성을 향상시킬 수 있는가?
• RQ2 분리된 의미 특징을 통합할 경우 궤적 예측에서 새로운 공격 패tern으로의 일반화에 어떤 영향을 미치는가?
• RQ3 제안된 SSAT 방법이 표준 적대적 훈련 대비 다양한 유형의 적대적 공격 하에서 예측 오차를 얼마나 줄이는가?
• RQ4 잠재 공간의 감독 및 분리 기반 접근이 무 supervision 또는 순수 데이터 증강 기반 방식보다 더 나은 강건한 일반화 성능을 제공하는가?

주요 결과

• SSAT는 원본 모델 대비 공격 하에서 예측 오차를 최대 73% 감소시키며, 표준 적대적 훈련 및 기타 기준 모델 대비 뚜렷한 승리 기록을 보인다.
• 횡방향 및 종방향 편향과 같은 새로운 공격 유형에 대해도 SSAT는 표준 적대적 훈련을 일관되게 능가하며, 뛰어난 강건한 일반화 능력을 입증한다.
• ADE 공격 하에서 훈련된 SSAT는 종방향 공격 하에서 1.45m의 예측 오차를 기록했으며, 표준 적대적 훈련은 2.66m를 기록하여 강력한 방어 능력을 입증한다.
• 비지도 변형(Unsup-SSAT)은 표준 적대적 훈련 대비 강건성을 향상시키지만, 의미 레이블이 추가된 SSAT는 성능 향상이 더욱 두드러져 레이블 감독의 가치를 입증한다.
• Mixup-SSAT는 양호한 성능과 적대적 성능 사이의 균형을 이루며, 혼합 비율 2일 때 순수 적대적 훈련 대비 향상된 결과를 기록한다.
• 데이터 기반 및 히우리스틱 증강 기법은 최소한의 성능 향상을 제공하며, 이는 복잡한 회귀 과제에서 의미 인식 기반 분리 기법의 독특한 이점을 강조한다.