[논문 리뷰] Understanding the Robustness of Skeleton-based Action Recognition under Adversarial Attack

He Wang, Feixiang He외 5명|arXiv (Cornell University)|2021. 03. 09.

Adversarial Robustness in Machine Learning참고 문헌 50인용 수 8

한 줄 요약

이 논문은 3D 스켈레톤 기반 행동 인식을 위한 새로운 적대적 공격 방법인 SMART를 제안한다. 이 방법은 움직임 역학과 스켈레톤 구조를 유지함으로써 공격의 부각되지 않음을 보장하기 위해 지각 손실을 활용한다. 다양한 모델과 데이터셋에서 화이트박스 및_BLK-박스 환경 모두에서 높은 성공률를 보이며, 기존의 행동 인식기들이 고속도 및 고가속도 관절에 민감하여 매우 취약하다는 것을 드러낸다.

ABSTRACT

Action recognition has been heavily employed in many applications such as autonomous vehicles, surveillance, etc, where its robustness is a primary concern. In this paper, we examine the robustness of state-of-the-art action recognizers against adversarial attack, which has been rarely investigated so far. To this end, we propose a new method to attack action recognizers that rely on 3D skeletal motion. Our method involves an innovative perceptual loss that ensures the imperceptibility of the attack. Empirical studies demonstrate that our method is effective in both white-box and black-box scenarios. Its generalizability is evidenced on a variety of action recognizers and datasets. Its versatility is shown in different attacking strategies. Its deceitfulness is proven in extensive perceptual studies. Our method shows that adversarial attack on 3D skeletal motions, one type of time-series data, is significantly different from traditional adversarial attack problems. Its success raises serious concern on the robustness of action recognizers and provides insights on potential improvements.

연구 동기 및 목표

• 최신 3D 스켈레톤 기반 행동 인식 모델이 적대적 공격에 얼마나 견딜 수 있는지 조사하기 위해, 아직 거의 탐색되지 않은 분야이다.
• 시간 시리즈 스켈레톤 운동 데이터를 공격할 때 발생하는 고유한 과제, 즉 낮은 冗餘성과 높은 지각 민감도를 해결하기 위해.
• 움직임 역학과 구조적 현실성을 유지하는 효과적이고 부각되지 않는 적대적 공격 방법을 개발하기 위해.
• 다양한 모델, 데이터셋, 공격 전략에 걸쳐 공격의 일반화 능력, 유연성, 속임수 성능을 평가하기 위해.
• 모델의 취약점에 대한 통찰을 제공하고, 향후 스켈레톤 기반 행동 인식의 강건성 향상에 기여하기 위해.

제안 방법

• 분류 손실과 새로운 지각 손실을 동시에 최소화하는 최적화 기반의 적대적 공격 프레임워크인 SMART를 제안하여 공격 성공률와 부각되지 않음을 균형 잡히게 한다.
• 움직임 역학과 스켈레톤 토폴로지를 명시적으로 모델링하는 지각 손실 함수를 도입하여 자연스러운 보정을 보장한다.
• 분류 손실을 통한 공격 효과성과 지각 손실을 통한 지각적 현실성을 균형 잡는 제약 최적화 과정을 사용하여, 진동이나 뼈 길이 위반을 방지한다.
• 모델 접근 수준에 따라 최적화를 조정함으로써 화이트박스 및 블랙박스 공격을 모두 지원한다.
• 분류 손실 목표를 다양하게 조정하여 타겟 공격 및 비타겟 공격을 포함한 다수의 공격 전략을 구현한다.
• 실제 인간 연구(AB 테스트 및 구분 불가능성 평가)를 통해 지각적 현실성을 광범위하게 검증하여 실제 세계에서의 부각되지 않음을 측정한다.

실험 결과

연구 질문

• RQ1 최신 3D 스켈레톤 기반 행동 인식 모델은 적대적 공격에 얼마나 취약한가?
• RQ2 정적 이미지나 영상과 비교할 때 시간 시리즈 스켈레톤 운동 데이터를 공격할 때 발생하는 고유한 과제는 무엇인가?
• RQ3 움직임 역학과 스켈레톤 구조를 모델링하는 지각 손실이 스켈레톤에 대한 적대적 공격의 부각되지 않음을 크게 향상시킬 수 있는가?
• RQ4 공격 성공률와 지각적 현실성 측면에서 기존 공격 방법들(예: IAA, CIASA)과 비교해 SMART의 성능은 어떠한가?
• RQ5 현재 행동 인식 모델이 적대적 보정에 취약하게 만들기 때문에 중요한 구조적 및 동적 취약점은 무엇인가?

주요 결과

• 화이트박스 환경에서 HRNN에서는 100%의 공격 성공률, STGCN에서는 99.57%의 성공률를 기록하며, IAA 및 CIASA보다 지각적 구분 불가능성에서 뛰어난 성능을 보였다.
• 지각 연구 결과, SMART가 생성한 적대적 샘플은 IAA 및 CIASA보다 유의미하게 더 구분 불가능했으며, HRNN 기준 각각 42.22% 및 36.67%의 구분 불가능성 비율을 기록했다.
• 지각 연구에서 IAA 및 CIASA는 보정 크기가 작더라도 진동과 비자연스러운 운동 역학으로 인해 종종 실패하는 것으로 드러났다.
• 모델은 고속도 및 고가속도 관절에 대한 보정에 특히 취약하여, 현재 아키텍처의 핵심적인 약점임을 시사한다.
• SMART의 성공은 전통적인 보정 크기 제약만으로는 스켈레톤 운동 공격에 충분하지 않음을 보여주며, 운동 역학을 명시적으로 모델링해야 한다는 것을 입증한다.
• 다양한 모델(HRNN, STGCN, 2S-AGCN)과 데이터셋(e.g., HDM05)에 걸쳐 강력한 일반화 능력을 보이며, 그 유연성과 강건성을 확인했다.