[논문 리뷰] Patch Attack for Automatic Check-out

Aishan Liu, Jiakai Wang외 4명|arXiv (Cornell University)|2020. 05. 19.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 2

한 줄 요약

이 논문은 자동 체크아웃(ACO) 시스템에 대해 강력한 일반화 능력을 갖춘 클래스에 관계없는 유니버설 적대적 패치를 생성하기 위해 편향 기반 프레임워크를 제안한다. 시각적 편향은 텍스처 인식 하드 예제를 통해, 의미적 편향은 클래스별 프로토타입을 통해 활용됨으로써, 다양한 디지털 및 물리 세계 시나리오에서 최고의 공격 성공률를 달성하며, 백박스 및 화이트박스 설정에서 최신 기법들을 능가한다.

ABSTRACT

Adversarial examples are inputs with imperceptible perturbations that easily misleading deep neural networks(DNNs). Recently, adversarial patch, with noise confined to a small and localized patch, has emerged for its easy feasibility in real-world scenarios. However, existing strategies failed to generate adversarial patches with strong generalization ability. In other words, the adversarial patches were input-specific and failed to attack images from all classes, especially unseen ones during training. To address the problem, this paper proposes a bias-based framework to generate class-agnostic universal adversarial patches with strong generalization ability, which exploits both the perceptual and semantic bias of models. Regarding the perceptual bias, since DNNs are strongly biased towards textures, we exploit the hard examples which convey strong model uncertainties and extract a textural patch prior from them by adopting the style similarities. The patch prior is more close to decision boundaries and would promote attacks. To further alleviate the heavy dependency on large amounts of data in training universal attacks, we further exploit the semantic bias. As the class-wise preference, prototypes are introduced and pursued by maximizing the multi-class margin to help universal training. Taking AutomaticCheck-out (ACO) as the typical scenario, extensive experiments including white-box and black-box settings in both digital-world(RPC, the largest ACO related dataset) and physical-world scenario(Taobao and JD, the world' s largest online shopping platforms) are conducted. Experimental results demonstrate that our proposed framework outperforms state-of-the-art adversarial patch attack methods.

연구 동기 및 목표

• 기존의 적대적 패치 공격에서 일반화 부족 문제를 해결하기 위해, 입력에 특화되어 있으며 새로운 클래스에 대해 실패하는 경향이 있는 공격 방식을 개선한다.
• 유니버설 공격을 훈련할 때의 높은 데이터 의존도 문제를 해결하기 위해, 모델 내재 편향을 활용한다.
• 실제 자동 체크아웃 시스템에 적용 가능한 강력한 클래스에 관계없는 유니버설 적대적 패치 생성 방법을 개발한다.
• 디지털(예: RPC 데이터셋) 및 물리 세계(예: 타오바오, 지딩) 환경에서의 배포 시나리오에서 공격 효과성을 향상시킨다.
• 심층 신경망 내재의 시각적 및 의미적 편향을 활용하여 공격 성공률를 높인다.

제안 방법

• 모델의 불확실성이 높은 하드 예제를 식별하여 스타일 유사도 기반 텍스처 패치 사전을 추출함으로써 결정 경계에 가까워지도록 한다.
• 딥 네트워크가 텍스처에 본질적으로 편향되어 있으므로, 텍스처 기반 특징에 집중함으로써 시각적 편향을 활용하여 공격의 이행성(transferability)을 향상시킨다.
• 클래스별 프로토타입을 도입하여 의미적 편향을 모델링하고, 훈련 중 다중 클래스 마진 최대화를 최적화한다.
• 시각적 및 의미적 편향 구성 요소를 통합하여 광범위한 일반화 능력을 갖춘 유니버설 적대적 패치를 생성하는 통합 프레임워크를 구축한다.
• 모든 클래스에 걸쳐 결정 경계 근접도와 마진 최대화를 균형 잡는 손실 함수를 사용하여 유니버설 패치를 훈련한다.
• 디지털(RPC) 및 물리 세계 타오바오, 지딩 환경에서 화이트박스 및 블랙박스 설정으로 패치를 배포하여 강건성 검증을 수행한다.

실험 결과

연구 질문

• RQ1 훈련 중에 볼 수 없었던 모든 클래스로 일반화되는 유니버설 적대적 패치를 생성할 수 있는가?
• RQ2 특히 텍스처 기반 특징을 통한 시각적 편향을 활용할 경우, 적대적 패치의 이행성 및 효과성이 어떻게 향상되는가?
• RQ3 클래스별 프로토타입을 통해 모델링된 의미적 편향은 데이터 의존도를 얼마나 줄이고 유니버설 공격 성능을 향상시킬 수 있는가?
• RQ4 기존 방법들과 비교해 볼 때, 제안된 프레임워크는 실제 물리 세계 환경에서 어떻게 성능을 발휘하는가?
• RQ5 유니버설 적대적 패치의 강건성 및 일반화 능력을 향상시키는 데 있어 시각적 편향과 의미적 편향의 상대적 기여도는 어느 정도인가?

주요 결과

• 제안된 프레임워크는 RPC 데이터셋에서 화이트박스 및 블랙박스 설정 모두에서 최신 기법들을 능가하는 높은 공격 성공률를 달성한다.
• 이 방법은 강력한 일반화 능력을 보이며, 훈련 중에 볼 수 없었던 클래스의 이미지도 성공적으로 공격한다.
• 시각적 및 의미적 편향의 통합은 공격 성능를 크게 향상시키며, 대규모 훈련 데이터에 대한 의존도를 감소시킨다.
• 타오바오 및 지딩에서의 물리 세계 평가에서, 유니버설 적대적 패치는 높은 공격 성공률유지하며 실제 적용 가능성임을 입증한다.
• 스타일 유사도 기반 텍스처 패치 사전은 결정 경계에 더 가까워지게 하여 공격 효과성을 향상시킨다.
• 프로토타입을 통한 다중 클래스 마진 최대화는 다양한 클래스에 걸쳐 유니버설 패치의 강건성 및 일반화 능력을 향상시킨다.