[논문 리뷰] Towards Large yet Imperceptible Adversarial Image Perturbations with Perceptual Color Distance

Zhengyu Zhao, Zhuoran Liu외 1명|arXiv (Cornell University)|2019. 11. 06.

Adversarial Robustness in Machine Learning참고 문헌 57인용 수 10

한 줄 요약

이 논문은 전통적인 RGB 공간 내 Lp 노름 대신 인간의 색상 인지와 일치하는 인지적 색상 거리(PerC), 특히 CIEDE2000를 사용하여 적대적 이미지 편향을 최적화하는 방법을 제안한다. 인간의 색상 인지와 일치하는 편향 최적화를 통해 저자들은 PerC-C&W와 PerC-AL 방법을 도입하여, 눈에 띄지 않으면서도 RGB 편향을 크게 만들었으며, 이는 Lp 제약 기반 접근법에 비해 적대적 강도와 전이성능을 크게 향상시킨다.

ABSTRACT

The success of image perturbations that are designed to fool image classifier is assessed in terms of both adversarial effect and visual imperceptibility. The conventional assumption on imperceptibility is that perturbations should strive for tight $L_p$-norm bounds in RGB space. In this work, we drop this assumption by pursuing an approach that exploits human color perception, and more specifically, minimizing perturbation size with respect to perceptual color distance. Our first approach, Perceptual Color distance C&W (PerC-C&W), extends the widely-used C&W approach and produces larger RGB perturbations. PerC-C&W is able to maintain adversarial strength, while contributing to imperceptibility. Our second approach, Perceptual Color distance Alternating Loss (PerC-AL), achieves the same outcome, but does so more efficiently by alternating between the classification loss and perceptual color difference when updating perturbations. Experimental evaluation shows PerC approaches outperform conventional $L_p$ approaches in terms of robustness and transferability, and also demonstrates that the PerC distance can provide added value on top of existing structure-based methods to creating image perturbations.

연구 동기 및 목표

• 눈에 띄지 않는 적대적 편향을 위해 RGB 공간 내 엄격한 Lp-노름 제약이 필수적이라는 기존의 가정을 도전하기 위해.
• RGB 기반 Lp 노름 대신 인지적 색상 거리(CIEDE2000)를 최적화 대상으로 삼아 적대적 편향 품질을 향상시키기 위해.
• 특히 고신뢰도 오분류 설정에서 성능이 떨어지는 경향이 있는 Lp 기반 방법이 실패하는 매끄럽고 채도가 높은 영역에서의 눈에 띄지 않음을 향상시키기 위해.
• 인지적 색상 거리와 구조적 정보(예: 텍스처 복잡성)를 조합하여 눈에 띄는 아티팩트를 추가로 억제할 수 있는지 탐색하기 위해.
• PerC 기반 편향이 딥러닝 모델의 개인정보 보호 및 보안 강화 응용 분야에서 잠재적인 가능성을 탐색하기 위해.

제안 방법

• CIELCH 색상 공간 내에서 C&W 공격의 확장판인 PerC-C&W를 제안하며, Lp-노름 최적화를 인지적 색상 거리(CIEDE2000)로 대체한다.
• 편향 업데이트 중 분류 손실과 인지적 색상 차이를 번갈아가며 최적화하는 더 효율적인 교대 최적화 전략인 PerC-AL을 도입한다.
• 표준 RGB 또는 CIELAB보다 인간의 색상 인지보다 더 정확하게 모델링하기 위해 CIELCH 색상 공간 표현을 사용한다.
• 인간 시각 감도와 일치하는 방식으로 색상 차이를 정량화하기 위해 CIEDE2000 공식을 인지적 거리 측정 지표로 활용한다.
• 지역 표준편차가 3×3 이미지 패치에서 유도된 텍스처 복잡성 벡터 σ를 사용하여 변화가 큰 영역에서의 편향 억제를 수행한다.
• PerC-AL의 손실 함수를 조정하여 인지적 거리를 (1−σ)로 가중함으로써, 텍스처가 높은 영역에서의 편향 강도를 감소시켜 시각적 눈에 띄지 않음을 향상시킨다.

실험 결과

연구 질문

• RQ1 인지적 색상 거리(CIEDE2000)는 눈에 띄지 않음을 유지하면서도 적대적 편향 크기를 측정하는 데 있어 Lp 노름보다 우월한 대체 수단이 될 수 있는가?
• RQ2 인지적 색상 거리 기반 최적화는 특히 채도가 높고 매끄러운 영역에서 눈에 띄지 않으면서도 더 큰 RGB 편향을 생성할 수 있는가?
• RQ3 PerC 기반 공격의 성능은 표준 Lp 제약 공격(C&W, I-FGSM 등)과 비교해 적대적 성공률, 강건성, 전이성 측면에서 어떻게 다른가?
• RQ4 인지적 색상 거리와 구조적 이미지 특징(예: 텍스처 복잡성)을 효과적으로 조합하여 추가로 눈에 띄지 않음을 향상시킬 수 있는가, 동시에 적대적 강도를 유지할 수 있는가?
• RQ5 PerC 기반 편향은 모델 강건성에 어떤 영향을 미치며, 새로운 방어 기법을 통해 탐지되거나 억제될 수 있는가?

주요 결과

• PerC-C&W와 PerC-AL는 특히 고신뢰도 수준(κ=40)에서 표준 Lp 기반 방법보다 더 높은 적대적 성공률를 기록하며, ResNet-152와 VGG-16에서 C&W 대비 PerC-AL이 성공률 1.2–2.1점 향상되었다.
• PerC 기반 방법은 RGB 공간 내에서 L2 및 Linf 노름을 크게 증가시켰으며(예: Inception v3에서 κ=40일 때 최대 4.7 및 6.9), 특히 매끄럽고 채도가 높은 영역에서 눈에 띄지 않게 유지되었다.
• PerC 거리와 구조적 정보(σ 벡터를 통한)의 조합은 눈에 띄지 않음을 추가로 향상시켜, 변화가 큰 영역에서의 편향 억제를 통해 시각적 품질을 향상시켰다.
• 인지적 색상 거리는 기존의 구조 기반 방법에 추가적인 가치를 제공하며, PerC-AL+structure 변종에서 둘을 함께 사용했을 때 성능 향상이 확인되었다.
• PerC 기반 공격는 모델 간 전이성능이 뛰어나, 예를 들어 Inception v3에서 GoogLeNet, VGG-16, ResNet-152로의 전이에서도 강력한 일반화 능력을 보였다.
• 결과는 인지적 색상 거리가 특히 작은 RGB 변화가 큰 인지적 차이를 유도하는 영역에서 Lp 노름보다 인간의 시각 인지에 더 정확한 대체 지표임을 확인했다.