[논문 리뷰] SMART: Skeletal Motion Action Recognition aTtack

He Wang, Feixiang He외 5명|arXiv (Cornell University)|2019. 11. 16.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 5

한 줄 요약

SMART는 3D 뼈대 운동 행동 인식에 대한 새로운 적대적 공격 방법을 제안하며, 미시적 변형을 생성하기 위해 운동 역학을 고려한 인지 손실을 활용한다. 이는 다양한 모델과 데이터셋에서 100%의 공격 성공률를 달성하면서도 철저한 인간 인지 연구를 통과하여, 시간적 시리즈 적대적 공격에서 운동 역학이 미시성에 핵심적인 역할을 한다는 것을 입증한다.

ABSTRACT

Adversarial attack has inspired great interest in computer vision, by showing that classification-based solutions are prone to imperceptible attack in many tasks. In this paper, we propose a method, SMART, to attack action recognizers which rely on 3D skeletal motions. Our method involves an innovative perceptual loss which ensures the imperceptibility of the attack. Empirical studies demonstrate that SMART is effective in both white-box and black-box scenarios. Its generalizability is evidenced on a variety of action recognizers and datasets. Its versatility is shown in different attacking strategies. Its deceitfulness is proven in extensive perceptual studies. Finally, SMART shows that adversarial attack on 3D skeletal motion, one type of time-series data, is significantly different from traditional adversarial attack problems.

연구 동기 및 목표

• 3D 뼈대 기반 행동 인식 모델이 적대적 공격에 얼마나 취약한지 조사하기 위해.
• 시간적 시리즈 뼈대 운동 데이터의 낮은 冗餘성과 높은 인지 민감도라는 고유한 과제를 해결하기 위해.
• 적대적 예제가 인간에게 시각적으로 자연스럽고 구분이 가지 않도록 보장하는 인지 손실 함수를 개발하기 위해.
• 다양한 모델과 데이터셋에서 화이트박스 및_BLK-박스 설정 모두에서 공격의 효과성을 평가하기 위해.
• 운동 역학이 미시성에 미치는 영향이 정적 이미지 기반 공격과 다름을 경험적이고 인지적으로 입증하기 위해.

제안 방법

• SMART는 분류 손실(행동 인식기의 오도를 유도하기 위해)과 새로운 인지 손실(자연스러움을 확보하기 위해)을 동시에 최소화하는 최적화 프레임워크를 사용한다.
• 인지 손실은 운동 역학과 뼈대 구조를 명시적으로 모델링하며, 시간적 일관성과 뼈대 길이 일관성을 제약 조건으로 사용한다.
• 분류 손실과 인지 손실 간의 트레이드오프를 조정하여 공격 성공률와 미시성의 균형을 이룬다.
• 이동성과 모델 독립적 변형 생성을 활용하여 화이트박스 및 블랙박스 공격을 모두 지원한다.
• 공격은 3D 관절 좌표에 적용되며, 변형은 운동의 부드러움을 유지하고 진동을 방지하도록 최적화된다.
• 사용자 연구와 인지 평가를 평가 파이프라인에 통합하여 적대적 운동의 현실성 검증을 수행한다.

실험 결과

연구 질문

• RQ1 낮은 冗餘성과 높은 인지 민감도에도 불구하고, 3D 뼈대 운동 데이터에 대한 적대적 공격을 눈에 띄지 않게 만들 수 있는가?
• RQ2 시간적 시리즈 데이터에서 운동 역학을 활용할 경우, 적대적 변형의 인지적 현실감은 어떻게 영향을 받는가?
• RQ3 SMART는 공격 성공률와 인지적 구분 불가능성 측면에서 기존 방법과 어떻게 비교되는가?
• RQ4 통제된 인지 연구 조건에서 인간 관찰자가 뼈대 운동 시퀀스의 적대적 변형을 얼마나 잘 감지하는가?
• RQ5 운동 변형이 감지되지 않는 인간 인지의 '맹점'이 존재하는가, 그리고 적대적 공격이 이를 악용할 수 있는가?

주요 결과

• 화이트박스 설정에서 ST-GCN에서 SMART는 최신 기술인 CIASA 방법을 능가하며 100%의 공격 성공률를 달성했다.
• 인지 연구 결과, 평균적으로 81.9%의 사용자가 적대적 운동과 실제 운동을 구분하지 못했으며, MHAD에서는 83.97%, HDM05에서는 80.83%의 정확도를 기록했다.
• l2-노름 공격에 비해 더 높은 관절 이격도를 보였음에도 불구하고, 사용자들은 SMART가 생성한 변형을 더 선호하여 인지적 현실감이 뛰어나다는 것을 시사한다.
• 표준 l-노름 제약 조건과 달리, 인지 손실은 운동 역학과 뼈대 구조를 모델링함으로써 구분 불가능성을 크게 향상시켰다.
• 운동 역학이 적절히 유지된다면 더 큰 관절 이격도도 눈에 띄지 않을 수 있으며, 이는 l-노름이 미시성의 주요 척도라는 가정을 도전한다.
• RNN 및 GNN 기반 모델과 NTU, HDM05, MHAD 등의 다양한 데이터셋에서 강력한 일반화 능력을 보이며, 이는 그 방법의 유연성과 강건성을 확인한다.