[논문 리뷰] Bias-based Universal Adversarial Patch Attack for Automatic Check-out

Aishan Liu, Jiakai Wang외 4명|arXiv (Cornell University)|2020. 05. 19.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 12

한 줄 요약

이 논문은 딥 네ural 네트워크 내의 시각적(텍스처 기반) 및 의미적(프로토타입 기반) 편향을 활용하여 자동 체크아웃(ACO) 시스템을 대상으로 클래스에 관계없이 일반화 가능한 대비 패치를 생성하기 위한 편향 기반 프레임워크를 제안한다. 경계 근처의 결정 기준에 가까운 텍스처 패턴을 식별하기 위해 스타일 유사도를 사용하여 고난이도 예제에서 텍스처 사전을 추출하고, 다중 클래스 마진을 최대화하기 위해 클래스 프로토타입을 사용함으로써 강력한 일반화 성능을 달성한다. 이 방법은 디지털 월드(RPC)와 물리 월드(Taobao, JD) 벤치마크에서 기존 최고 성능(SOTA) 방법을 능가하며, 오직 1,000개의 프로토타입만을 사용해도 상위 1위 정확도가 5.40%로 감소한다.

ABSTRACT

Adversarial examples are inputs with imperceptible perturbations that easily misleading deep neural networks(DNNs). Recently, adversarial patch, with noise confined to a small and localized patch, has emerged for its easy feasibility in real-world scenarios. However, existing strategies failed to generate adversarial patches with strong generalization ability. In other words, the adversarial patches were input-specific and failed to attack images from all classes, especially unseen ones during training. To address the problem, this paper proposes a bias-based framework to generate class-agnostic universal adversarial patches with strong generalization ability, which exploits both the perceptual and semantic bias of models. Regarding the perceptual bias, since DNNs are strongly biased towards textures, we exploit the hard examples which convey strong model uncertainties and extract a textural patch prior from them by adopting the style similarities. The patch prior is more close to decision boundaries and would promote attacks. To further alleviate the heavy dependency on large amounts of data in training universal attacks, we further exploit the semantic bias. As the class-wise preference, prototypes are introduced and pursued by maximizing the multi-class margin to help universal training. Taking AutomaticCheck-out (ACO) as the typical scenario, extensive experiments including white-box and black-box settings in both digital-world(RPC, the largest ACO related dataset) and physical-world scenario(Taobao and JD, the world' s largest online shopping platforms) are conducted. Experimental results demonstrate that our proposed framework outperforms state-of-the-art adversarial patch attack methods.

연구 동기 및 목표

• 기존의 일반화 능력이 제한된 일반화 가능한 대비 패치 공격이 새로운 클래스에서 실패하는 문제를 해결하기 위해.
• 일반화 공격 생성에서 대규모 훈련 데이터에 대한 의존도를 줄이기 위해.
• 특히 텍스처와 클래스별 의미적 선호도를 포함한 내재된 모델 편향을 활용하여 더 강력하고 이식 가능한 공격을 만들기 위해.
• 실제 ACO 시나리오, 특히 Taobao 및 JD 플랫폼에 대한 물리 월드 배포를 포함한 프레임워크의 유효성을 검증하기 위해.

제안 방법

• 높은 모델 불확실성을 보이는 고난이도 예제에서 스타일 유사도를 사용해 결정 경계 근처의 텍스처 패턴을 식별함으로써 텍스처 사전을 추출한다.
• 다양한 클래스의 강력한 특징을 캡슐화하는 클래스 프로토타입을 의미 사전으로 도입하여 일반화 가능한 대비 패치의 성능을 향상시킨다.
• 프로토타입 간의 다중 클래스 마진을 최대화하여 새로운 클래스에 대한 강건성과 이식 가능성을 향상시킨다.
• 훈련 중에 회전, 왜곡, 애핀 변환 증강을 포함한 변환 모듈을 활용하여 실제 환경 변화에 대한 강건성을 향상시킨다.
• 프로토타입과 실제 이미지를 조합하여 대비 패치를 훈련하고, 데이터 효율성을 평가하기 위해 분석 실험을 실시한다.
• 디지털(RPC) 및 물리 월드(Taobao, JD) 데이터셋에서 화이트박스 및 블랙박스 설정 모두에서 대상 모델로 ResNet-152를 사용한다.

실험 결과

연구 질문

• RQ1 특히 텍스처 기반 특징인 시각적 편향을 활용하여 더 효과적인 일반화 가능한 대비 패치를 생성할 수 있는가?
• RQ2 클래스 프로토타입을 통해 모델링된 의미적 편향은 일반화 가능한 공격 훈련에 필요한 데이터 요구량을 줄이고 성능을 향상시킬 수 있는가?
• RQ3 제안된 프레임워크는 실제 ACO 시스템, 특히 대규모 전자상거래 플랫폼에 대한 물리 월드 배포까지 포함해 얼마나 효과적인가?
• RQ4 데이터 증강 및 변환 모듈은 환경 변화에 노출되었을 때 일반화 가능한 대비 패치의 강건성을 얼마나 향상시키는가?
• RQ5 공격 성능 및 데이터 효율성 측면에서 프로토타입 사용과 원본 이미지 데이터 사용 간의 성능 비교는 어떻게 되는가?

주요 결과

• 제안된 방법은 오직 1,000개의 프로토타입만을 사용해도 새로운 클래스에서 상위 1위 정확도가 5.40%에 도달하여 원본 이미지 데이터에 의존하는 기존 방법보다 뚜렷이 뛰어나다.
• 1,000개의 프로토타입을 사용할 경우 10,000개의 실제 상품 이미지를 사용하는 방법과 유사한 공격 성능를 달성하며, 훈련 데이터 요구량을 50% 감소시킨다.
• 프로토타입과 이미지의 혼합(예: 500:500)으로 훈련할 경우 상위 1위 정확도가 10.03%로 나타나 순수 이미지 기반 훈련(1,000장 이미지 사용 시 12.43%)보다 뛰어나다.
• 변환 모듈은 공격 성공률를 향상시킨다: 왜곡 증강이 적용된 경우 정확도가 30.70%에서 22.26%로 감소하여 강건성이 향상됨을 시사한다.
• 이 방법은 새로운 클래스와 물리 월드 배포에 효과적으로 일반화되며, 실제로 Taobao 및 JD 플랫폼의 ACO 시스템을 성공적으로 공격한다.
• 분석 실험을 통해 시각적(텍스처) 및 의미적(프로토타입) 편향이 모두 필수적임을 확인하였으며, 각 구성 요소가 공격의 일반화 능력과 데이터 효율성 향상에 기여한다.