[논문 리뷰] Natural Color Fool: Towards Boosting Black-box Unrestricted Attacks

Shengming Yuan, Qilong Zhang외 3명|arXiv (Cornell University)|2022. 10. 05.

Adversarial Robustness in Machine Learning인용 수 15

한 줄 요약

이 논문은 ADE20K 데이터셋에서 유 realistic한 색상 분포를 활용하여 고도로 이식 가능하고 자연스러운 외관을 띤 악성 예측 예제를 생성하는 블랙박스 제한 없는 색상 공격인 Natural Color Fool(NCF)을 제안한다. 이론적 색상 분포를 기반으로 이웃 탐색과 초기화 재설정을 통해 이식 가능성을 향상시켜, 표준 모델에서 최신 기술 대비 15.0–32.9% 높은 성공률을 달성하였고, 방어 기반 모델에서는 10.0–25.3% 높은 성능을 기록하였다.

ABSTRACT

Unrestricted color attacks, which manipulate semantically meaningful color of an image, have shown their stealthiness and success in fooling both human eyes and deep neural networks. However, current works usually sacrifice the flexibility of the uncontrolled setting to ensure the naturalness of adversarial examples. As a result, the black-box attack performance of these methods is limited. To boost transferability of adversarial examples without damaging image quality, we propose a novel Natural Color Fool (NCF) which is guided by realistic color distributions sampled from a publicly available dataset and optimized by our neighborhood search and initialization reset. By conducting extensive experiments and visualizations, we convincingly demonstrate the effectiveness of our proposed method. Notably, on average, results show that our NCF can outperform state-of-the-art approaches by 15.0%$\sim$32.9% for fooling normally trained models and 10.0%$\sim$25.3% for evading defense methods. Our code is available at https://github.com/ylhz/Natural-Color-Fool.

연구 동기 및 목표

• 기존의 제한 없는 색상 공격가 자연스러운 이미지 품질을 희생시키며 유연성을 잃는 문제를 해결하기 위해.
• 유연한 색상 변형을 유지하면서도 큰, 통제되지 않은 색상 편향을 가능하게 하여 도청성과 공격 성공률를 향상시키기 위해.
• 다양한 모델, 특히 강화된 방어 기반 모델 간의 악성 예측 예제의 이식 가능성을 향상시키기 위해.
• 실제 색상 분포 라이브러리가 시각적 왜곡을 느끼기 어렵게 하면서도 블랙박스 공격의 효과를 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• ADE20K 데이터셋의 실제 이미지를 활용해 각 세그먼트 클래스별로 색상 분포 라이브러리를 구축하며, 각 의미적 클래스당 20개의 분포를 샘플링한다.
• 라이브러리에서 추출한 색상 매핑을 적용하여 각 의미적 세그먼트를 개별적으로 수정함으로써 다양한 현실적인 이미지 변형을 생성한다.
• 대상 오분류 손실 기반으로 가장 악성인 변형을 선택하기 위해 대체 모델을 활용한다.
• 이웃 탐색을 통해 근접한 색상 분포를 탐색하여 악성 예측에 대한 강건성과 이식 가능성을 향상시킨다.
• 지역 최적값에서 벗어나 색상 편향 공간을 더 효과적으로 탐색하기 위해 초기화 재설정을 도입한다.
• 대체 모델과 시각적 품질 제약 조건을 활용하여 반복적 정밀 조정을 통해 최종 악성 예측 예제를 최적화한다.

실험 결과

연구 질문

• RQ1 제한 없는 색상 공격가 이미지의 자연스러움을 훼손하지 않으면서도 더 높은 이식 가능성을 달성할 수 있는가?
• RQ2 색상 분포 라이브러리의 크기와 다양성이 공격 성능 및 강건성에 어떤 영향을 미치는가?
• RQ3 이웃 탐색과 초기화 재설정이 제한 없는 환경에서 악성 예측 예제의 이식 가능성을 얼마나 향상시킬 수 있는가?
• RQ4 L_p-노름 또는 입력 전처리 방어 기반 모델에 대해 제안된 방법은 얼마나 효과적인가?
• RQ5 자연스러운 외관의 색상 편향이 여전히 현대적 방어 기반 기법을 회피할 수 있을까, 동시에 높은 공격 성공률를 유지할 수 있을까?

주요 결과

• NCF는 일반적으로 훈련된 모델에서 최신 기술 대비 평균 15.0–32.9% 높은 공격 성공률를 기록하였으며, Inc-v3에서 최고 83.8%의 성능을 달성하였다.
• 방어 기반 모델에서 NCF는 최신 기술 대비 10.0–25.3% 높은 이식 가능성을 확보하여 강력한 탈출 능력을 입증하였다.
• 이웃 탐색과 초기화 재설정을 함께 사용할 경우, 블랙박스 공격에서 평균 12.5% 향상된 성능 기록하였다.
• 색상 분포 라이브러리 크기 $M$는 성능에 중대한 영향을 미치며, 최적의 성공률는 $M=150$에서 달성되었고, $M=0$ 대비 평균 30% 이상 높은 성능 기록하였다.
• 이웃 탐색이나 초기화 재설정 없이도 NCF는 탄력적이고 클래스 인식 기반의 색상 편향 공간 덕분에 SAE 및 기타 베이스라인을 초월하였다.
• NCF가 생성한 예제는 높은 NIMA 점수를 확보하여 높은 시각적 품질과 인간이 인지하기 어려운 자연스러움을 유지함을 확인하였다.