[논문 리뷰] Frequency-driven Imperceptible Adversarial Attack on Semantic Similarity

Cheng Luo, Qinliang Lin외 4명|arXiv (Cornell University)|2022. 03. 10.

Adversarial Robustness in Machine Learning인용 수 9

한 줄 요약

이 논문은 깊이 학습 특징 표현에서 의미적 유사도를 공격하는 주파수 기반의 적대적 공격인 SSAH을 제안한다. 저주파수 제약을 통해 편향을 고주파 성분으로 제한함으로써, 매우 미세한 왜곡을 유도하며, 다양한 모델과 데이터셋 간에 뛰어난 이동성과 향상된 미시적 인식 가능성을 달성한다. CIFAR-10, CIFAR-100, ImageNet-1K 및 실세계 온라인 API에서 최신 기술(SOTA)을 능가한다.

ABSTRACT

Current adversarial attack research reveals the vulnerability of learning-based classifiers against carefully crafted perturbations. However, most existing attack methods have inherent limitations in cross-dataset generalization as they rely on a classification layer with a closed set of categories. Furthermore, the perturbations generated by these methods may appear in regions easily perceptible to the human visual system (HVS). To circumvent the former problem, we propose a novel algorithm that attacks semantic similarity on feature representations. In this way, we are able to fool classifiers without limiting attacks to a specific dataset. For imperceptibility, we introduce the low-frequency constraint to limit perturbations within high-frequency components, ensuring perceptual similarity between adversarial examples and originals. Extensive experiments on three datasets (CIFAR-10, CIFAR-100, and ImageNet-1K) and three public online platforms indicate that our attack can yield misleading and transferable adversarial examples across architectures and datasets. Additionally, visualization results and quantitative performance (in terms of four different metrics) show that the proposed algorithm generates more imperceptible perturbations than the state-of-the-art methods. Code is made available at.

연구 동기 및 목표

• 기존의 적대적 공격가 분류 레이어의 닫힌 집합 기반에 의존하여 다양한 데이터셋 간으로 일반화되지 못하는 한계를 해결한다.
• 인간 시각계통(HVS)이 덜 민감한 고주파 성분으로 편향을 제약하여 인지적 인식 가능성을 향상시킨다.
• 공격 생성 시 타겟 클래스가 알려지지 않은 오픈 세트 환경에서 효과적인 블랙박스 공격 프레임워크를 개발한다.
• 질문 접근이 없는 상황에서도 다양한 아키텍처와 실세계 온라인 모델 간에 이동 가능한 적대적 예제를 생성할 수 있도록 한다.

제안 방법

• 분류 레이어 출력에 의존하지 않고, 특징 표현을 조작하여 정상 예제를 원래 클래스에서 밀어내고 타겟 클래스로 끌어당기는 의미적 유사도 공격(semantic similarity attack, SSA)을 제안한다.
• 적대적 편향을 이미지의 고주파 성분으로 제한하는 저주파수 제약(low-frequency constraint)을 도입하여 원본 이미지와의 인지적 유사성을 확보한다.
• 편향의 ℓ₂ 및 ℓ∞ 노름을 최소화하면서도 원본 이미지와 적대적 이미지 간의 저주파 성분 차이를 최소화하는 공동 최적화 문제로 공격를 수립한다.
• 최적화 과정에서 의미적 유사도 손실의 중요도를 동적으로 조정하기 위해 자기주도 가중치(self-paced weighting, SPW)를 적용하여 수렴성과 편향 품질을 향상시킨다.
• 이미지의 저주파 성분을 통해 인지적 변동성을 측정하는 주파수 도메인 분석을 수행하며, 이 밴드에서의 이탈을 인지적 왜곡으로 간주한다.
• t-SNE 시각화와 특징 공간 궤적 분석을 통해 공격이 특징 표현을 타겟 클래스 쪽으로 효과적으로 조작하고 있음을 검증한다.

Figure 1 : Comparison of the adversarial examples and perturbations generated by three different attack methods: (a) C $\&$ W, (b) Our SSA (semantic similarity attack), and (c) Our SSAH (semantic similarity attack on high-frequency components). For the visualization, we regularize the perturbation b

실험 결과

연구 질문

• RQ1 목표 클래스가 모델의 알려진 카테고리에 포함되지 않는 오픈 세트 환경에서도 효과적인 적대적 공격를 설계할 수 있는가?
• RQ2 적대적 편향을 고주파 성분으로 제약함으로써 인지적 인식 가능성을 향상시키면서도 공격 성공률를 손상시키지 않는 방법은 무엇인가?
• RQ3 제안된 저주파수 제약이 기존의 ℓp-노름 제약 대비 얼마나 향상된 인지적 품질을 제공하는가?
• RQ4 제안된 방법으로 생성된 적대적 예제는 다양한 딥 러닝 아키텍처와 실세계 온라인 추론 플랫폼 간에 얼마나 이동 가능한가?

주요 결과

• ImageNet-1K에서 SSAH는 SSA(1.05)와 SPW를 사용하지 않은 SSA(1.40)에 비해 저주파수(LF) 메트릭 0.06을 기록하여, 저주파수 제약이 눈에 띄는 왜곡을 줄이는 데 효과적임을 입증한다.
• Tencent 클라우드의 온라인 모델에서 SSAH는 질의 없이 블랙박스 환경에서 37.98%의 공격 성공률를 기록하여, C&W(21.71%), AdvDrop(16.26%), PerC-AL(18.61%)을 모두 능가한다.
• 제거 분석 결과, 자기주도 가중치(SPW)를 사용한 경우 SPW 없이 구현한 변형 대비 Fréchet Inception Distance(FID)가 1.20점 감소하여 이미지 품질이 향상됨을 확인하였다.
• t-SNE 시각화 결과, SSAH는 C&W보다 더 안정적이고 방향성이 뚜렷한 궤적을 통해 특징 공간에서 적대적 예제를 원래 클래스에서 타겟 클래스로 효과적으로 이동시켰다.
• 편향 시각화 결과, SSAH는 인간 시각계통(HVS)이 덜 민감한 엣지와 질감 영역에 변화를 집중시키며, 부드러운 배경에는 최소한의 변화를 유도함을 확인하였다.
• SSAH는 인식 가능성(FID, LF, 인지적 메트릭 기준)과 다양한 모델 및 데이터셋 간의 이동성에서 최신 기술(SOTA) 수준의 성능을 달성하였다.

Figure 2 : An overview of proposed SSAH. Left: Semantics Similarity Attack; Right: Low-frequency Constraint. $f(\cdot)$ is the mapping from an image to its embedding in representation space. $\phi(\cdot)$ is a shallow network that decomposes an image into different frequency components and reconstru