[논문 리뷰] A study of the effect of JPG compression on adversarial images

Gintare Karolina Dziugaite, Zoubin Ghahramani외 1명|arXiv (Cornell University)|2016. 08. 02.

Adversarial Robustness in Machine Learning참고 문헌 3인용 수 255

한 줄 요약

이 논문은 JPEG 재압축이 작은 Fast Gradient Sign 적대적 섭동을 역전시킬 수 있지만 더 큰 섭동에 대해서는 실패하여 확신 있는 오분류를 남긴다는 것을 보여준다.

ABSTRACT

Neural network image classifiers are known to be vulnerable to adversarial images, i.e., natural images which have been modified by an adversarial perturbation specifically designed to be imperceptible to humans yet fool the classifier. Not only can adversarial images be generated easily, but these images will often be adversarial for networks trained on disjoint subsets of data or with different architectures. Adversarial images represent a potential security risk as well as a serious machine learning challenge---it is clear that vulnerable neural networks perceive images very differently from humans. Noting that virtually every image classification data set is composed of JPG images, we evaluate the effect of JPG compression on the classification of adversarial images. For Fast-Gradient-Sign perturbations of small magnitude, we found that JPG compression often reverses the drop in classification accuracy to a large extent, but not always. As the magnitude of the perturbations increases, JPG recompression alone is insufficient to reverse the effect.

연구 동기 및 목표

• 신경망 분류에 사용되는 이미지에서 JPEG 압축이 적대적 섭동을 완화시킬 수 있는지 조사한다.
• 섭동 크기의 변화가 JPEG의 적대적 효과 역전 능력에 미치는 영향을 정량화한다.
• JPEG 유사한 데이터 부분 공간에 대한 투영이 적대적 예제에 대한 강인성을 향상시키는지 분석한다.

제안 방법

• 사전 학습된 OverFeat 네트워크(ImageNet, 2012)을 사용하여 원본 이미지, 적대적으로 섭동된 이미지, 그리고 JPEG 재압축 이미지의 분류를 수행한다.
• ε ∈ {1, 5, 10}인 Fast Gradient Sign (FGS)을 사용하여 적대적 예제를 생성한다.
• 적대적 이미지에 품질 75의 JPEG 압축을 적용하여 JPEG(Adv_ε(x))를 얻는다.
• 상위 라벨 확률 p_w(ℓ_x|x), p_w(ℓ_x|Adv_ε(x)), 및 p_w(ℓ_x|JPG(Adv_ε(x)))를 비교한다.
• 검증 세트 전반에 걸친 상위 라벨 확률의 통계 요약(상자 그림, 산점도)을 수행한다.
• 변환 후 Top-1 정확도와 평균 상위 라벨 확률을 요약한 표를 제공한다.

실험 결과

연구 질문

• RQ1 크기가 다른 적대적 섭동에 대해 JPEG 압축이 역전될 수 있는가?
• RQ2 적대적 이미지에 대한 상위 라벨 확률과 네트워크 정확도에 JPEG 재압축이 어떤 영향을 미치는가?
• RQ3 작은 섭동의 경우 특히 JPEG 압축이 섭동된 이미지를 자연 이미지의 부분 공간으로 효과적으로 투영하는가?

주요 결과

• 작은 크기(ε=1)의 섭동으로 변형된 적대적 이미지에 대해 JPEG 압축은 상위 라벨 확률을 자주 높여 부분적으로 올바른 분류를 회복시킨다.
• 더 큰 섭동(ε=5, ε=10)에서는 JPEG 재압축이 적대적 효과를 역전시키는 데 대부분 실패하고 정확도는 여전히 낮다.
• 검증 세트 전반에서 JPEG(Adv_ε)는 작은 섭동에 대해 정확도를 개선하지만 깨끗한 이미지의 성능에는 도달하지 못하고, 더 큰 섭동은 개선이 미미하다.
• 기준선 ‘JPG_noise’(순열된 JPEG 효과)는 JPEG의 이로운 역전을 재현하지 못하며 방향성이 중요함을 시사한다.
• 표 1은 Top-1 정확도와 평균 상위 라벨 확률을 보여준다; x: 0.58, 0.61; Adv_1: 0.23, 0.13; Adv_5: 0.11, 0.04; Adv_10: 0.09, 0.04; JPG(Adv_1): 0.48, 0.41; JPG(Adv_5): 0.26, 0.17; JPG(Adv_10): 0.17, 0.04; JPG_noise(Adv_1): 0.07, 0.06.