[논문 리뷰] BASAR:Black-box Attack on Skeletal Action Recognition

Yunfeng Diao, Tianjia Shao외 3명|arXiv (Cornell University)|2021. 03. 09.

Adversarial Robustness in Machine Learning참고 문헌 58인용 수 6

한 줄 요약

이 논문은 뼈대 동작 인식을 위한 최초의 블랙박스 적대적 공격 방법인 BASAR를 소개한다. BASAR는 데이터 다양체와 분류 경계를 탐색하기 위해 유도된 다양체 보행을 활용하여 눈에 띄지 않게, 다양체 위에 존재하는 적대적 예제를 생성한다. BASAR는 여러 모델과 데이터셋에서 타겟 설정 및 비타겟 설정 모두에서 100%의 공격 성공률를 달성하여, 다양체 위의 적대적 예제가 뼈대 운동 데이터에서 흔하고 매우 속임수적인 것으로 밝혀졌다.

ABSTRACT

Skeletal motion plays a vital role in human activity recognition as either an independent data source or a complement. The robustness of skeleton-based activity recognizers has been questioned recently, which shows that they are vulnerable to adversarial attacks when the full-knowledge of the recognizer is accessible to the attacker. However, this white-box requirement is overly restrictive in most scenarios and the attack is not truly threatening. In this paper, we show that such threats do exist under black-box settings too. To this end, we propose the first black-box adversarial attack method BASAR. Through BASAR, we show that adversarial attack is not only truly a threat but also can be extremely deceitful, because on-manifold adversarial samples are rather common in skeletal motions, in contrast to the common belief that adversarial samples only exist off-manifold. Through exhaustive evaluation and comparison, we show that BASAR can deliver successful attacks across models, data, and attack modes. Through harsh perceptual studies, we show that it achieves effective yet imperceptible attacks. By analyzing the attack on different activity recognizers, BASAR helps identify the potential causes of their vulnerability and provides insights on what classifiers are likely to be more robust against attack. Code is available at https://github.com/realcrane/BASAR-Black-box-Attack-on-Skeletal-Action-Recognition.

연구 동기 및 목표

• 뼈대 동작 인식에 대한 효과적인 블랙박스 적대적 공격가 부족한 문제를 해결하고자 하며, 이는 백박스 공격이 알려져 있음에도 불구하고 여전히 미비하게 다뤄지고 있음.
• 적대적 예제가 오직 다양체 외부에만 존재한다는 일반적인 가정을 도전하고자 하며, 뼈대 운동 데이터에서 다양체 위의 적대적 예제가 흔하고 실현 가능하다는 것을 입증하고자 함.
• 운동 동역학을 유지함으로써 눈에 띄지 않음을 보장하기 위해, 시간적 일관성을 해치는 희박한 편향을 피하는 방법을 개발하고자 함.
• 다양한 모델, 데이터셋, 공격 모드(비타겟/타겟)에서 공격 성공률와 품질을 평가하며, 인지적 내성성까지 포함함.
• 분류기의 취약성에 대한 통찰을 제공하고, 더 강력한 동작 인식 시스템 설계에 기여하고자 함.

제안 방법

• BASAR는 원본 입력에 가까운 위치에 있고, 원본 클래스 경계를 벗어나면서도 데이터 다양체 위에 머무르는 적대적 예제를 찾기 위해 제약 조건이 있는 최적화 문제로 블랙박스 공격을 공식화한다.
• 지향 탐색, 무작위 탐색, 다양체 투영을 조합한 유도된 다양체 보행(GMW) 전략을 사용하여 局부 최소값에서 벗어나고 다양체 위의 편향을 유지한다.
• 원본 샘플에의 가까움, 오분류, 그리고 시각적 타당성을 균형 잡기 위해 다양체 내 편향을 다양체 외 편향보다 우선시한다.
• 원본 샘플과 적대적 샘플 간의 가까움을 측정하기 위해 거리 함수를 사용하여 최소한의 왜곡을 보장한다.
• 성공적이고 눈에 띄지 않는 적대적 예제를 찾거나 최대 반복 횟수에 도달할 때까지 GMW 서브루틴을 통해 반복적 개선을 수행한다.
• 인지 연구를 통해 좌표화된 다중 관절, 다중 프레임 공격이 희박한 공격보다 운동 동역학을 더 잘 유지함을 평가한다.

실험 결과

연구 질문

• RQ1 타겟 모델의 내부 매개변수에 접근할 수 없이도 뼈대 동작 인식에 효과적인 블랙박스 적대적 공격를 구성할 수 있는가?
• RQ2 뼈대 운동 데이터에서 적대적 예제는 주로 다양체 외부에 존재하는가, 아니면 다양체 위의 적대적 예제도 존재하며 실제로 위협이 되는가?
• RQ3 뼈대 운동에 대한 적대적 공격는 높은 성공률와 함께 눈에 띄지 않게 만들 수 있으며, 자연스러운 운동 동역학을 유지할 수 있는가?
• RQ4 데이터 다양체, 분류 경계, 인지적 제약 조건 간의 상호작용이 공격 품질과 성공률에 어떻게 영향을 미치는가?
• RQ5 BASAR의 공격 패tern 분석을 바탕으로, 어떤 분류기 아키텍처나 특징이 적대적 공격에 더 강건한가?

주요 결과

• BASAR는 NTU 및 HDM05 데이터셋의 STGCN, MSG3D, SGN 모델에서 타겟 설정 및 비타겟 설정 모두에서 100%의 공격 성공률를 달성한다.
• HDM05 데이터셋에서 BASAR는 모든 베이스라인을 압도하며, 다음으로 우수한 방법(스마트)는 타겟 공격에서 오직 30.31%의 성공률를 기록한다.
• 비타겟 공격에서 BASAR는 100%의 성공률를 기록했고, 가장 우수한 베이스라인(SMART on MSG3D)은 99.33%에 도달했지만, 레이블 전이 결과는 일관성이 없었다.
• 경계 공격(BA)은 뼈대 구조를 유지하지 못했으며, 100%의 경우에서 뼈대 길이 제약을 위반하여 뼈대 운동에 적합하지 않음을 입증했다.
• BASAR는 뼈대 길이 제약 위반(0.00% 대 SGN/UA의 3.60%)을 포함한 모든 지표에서 BA를 크게 앞서며 뛰어난 시각적 품질을 유지한다.
• 이 연구는 다양체 위의 적대적 예제가 희귀한 것이 아니라 뼈대 운동에서 흔하다는 것을 드러내며, 적대적 예제가 본질적으로 비자연스럽거나 다양체 외부에만 존재한다는 가정을 도전한다.