[논문 리뷰] VectorDefense: Vectorization as a Defense to Adversarial Examples

Vishaal Munusamy Kabilan, Brandon Morris외 1명|arXiv (Cornell University)|2018. 04. 23.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

VectorDefense는 입력 이미지를 Potrace를 통해 벡터 그래픽스로 변환하고 다시 비트맵으로 변환함으로써 적대적 예측을 완화하는 방식으로 적대적 예측에 대비하는 방식을 제안한다. 이는 적대적 페르튜베이션을 효과적으로 부드럽게 만들며, 최신 공격 기법들에 대해 경쟁 가능한 강건성을 보이며, 특히 저비용 페르튜베이션에서 뛰어난 성능을 발휘한다. 또한 수작업으로 설계된 입력 변환 방식이 효과적일 수 있음을 보여주지만, Defense-GAN과 같은 학습된 사전 지식 기반 방식보다는 성능이 떨어진다.

ABSTRACT

Training deep neural networks on images represented as grids of pixels has brought to light an interesting phenomenon known as adversarial examples. Inspired by how humans reconstruct abstract concepts, we attempt to codify the input bitmap image into a set of compact, interpretable elements to avoid being fooled by the adversarial structures. We take the first step in this direction by experimenting with image vectorization as an input transformation step to map the adversarial examples back into the natural manifold of MNIST handwritten digits. We compare our method vs. state-of-the-art input transformations and further discuss the trade-offs between a hand-designed and a learned transformation defense.

연구 동기 및 목표

• 이미지 벡터화가 적대적 예측에 대비하는 입력 변환 방식으로 유의미한지 조사하는 것.
• White-box 및 gray-box 위협 모델 하에서 여러 최신 적대적 공격 방법에 대해 VectorDefense의 강건성 평가.
• 수작업으로 설계된 입력 변환(예: 벡터화)과 학습된 사전 지식 기반 방식(예: Defense-GAN) 간의 효과성과 강건성 비교.
• 페르튜베이션 예산이 방어 성능에 미치는 영향 분석; JSMA 및 C&W $L_0$ 공격의 예산 인식 버전 도입.
• 벡터화된 표현의 해석 가능성과 압축성의 잠재적 기초로서의 미래 강건한 학습 기반 탐색.

제안 방법

• 입력 이미지는 Potrace 알고리즘을 사용해 비트맵에서 벡터 형식(SVG)으로 변환된다. 이 과정에서 윤곽선이 선분, 타원 등 기하학적 원소로 추적된다.
• 벡터화된 이미지는 원래 해상도로 다시 래스터라이제이션되어 사전 훈련된 분류기로 입력된다.
• 이 방어 기법은 재학습이 필요 없는 전처리 단계로서, 분류기와 독립적이며 공격 유형에 관계없이 적용 가능하다.
• 이 방법은 벡터 그래픽스의 해상도 독립성 및 부드러움 특성을 활용해 국소적, 픽셀 수준의 적대적 페르튜베이션을 억제한다.
• 이 방법은 I-FGSM, DeepFool, JSMA, C&W $L_0$를 포함한 6종의 최신 공격 기법을 사용해 MNIST에서 평가된다.
• 페르튜베이션 예산에 따라 조절 가능한 공격의 변형이 도입되어, 다양한 페르튜베이션 예산 하에서의 방어 성능 분석이 가능해진다.

실험 결과

연구 질문

• RQ1 이미지 벡터화가 MNIST에서 최신 공격 기법의 성공률을 효과적으로 낮출 수 있는가?
• RQ2 Bit-depth 감소 및 이미지 퀼팅과 같은 다른 수작업 입력 변환 방식과 비교해 VectorDefense의 강건성은 어떠한가?
• RQ3 페르튜베이션 예산이 증가함에 따라 VectorDefense의 성능이 떨어지는가? 또한 Defense-GAN과 같은 학습된 사전 지식 기반 방식과 비교해보면 어떠한가?
• RQ4 White-box 위협 모델 하에서 VectorDefense는 우회될 수 있는가? 이를 속이기 위해 필요한 왜곡 수준은 어느 정도인가?
• RQ5 Defense-GAN은 성공하지만 VectorDefense는 실패하는 경우, 그로 인한 페르튜베이션 이미지의 구조적 차이점은 무엇인가?

주요 결과

• VectorDefense는 6종의 최신 공격 기법에 대해 적대적 공격 성공률을 크게 감소시키며, 특히 저비용 페르튜베이션에서 높은 강건성을 보였다.
• 40픽셀의 페르튜베이션 예산 하에서 I-FGSM 공격에 대해 VectorDefense는 62.5%의 성공률을 기록했으며, bit-depth 감소 및 이미지 퀼팅보다 뛰어난 성능을 보였다.
• 40픽셀의 강력한 $L_0$ 공격 하에서 Defense-GAN은 87.5%의 성공률을 기록했고, VectorDefense는 62.5%로 뒤져, Defense-GAN이 더 뛰어난 성능을 보였다.
• White-box BPDA 공격에서 VectorDefense는 분류기를 속이기 위해 $L_2$ 왜곡이 5.30이 필요했고, 방어가 없는 경우는 2.97이므로, 강건성이 향상됨을 시사한다.
• 정성적 분석 결과, VectorDefense는 종종 시각적으로 타당한데도 잘못된 레이블로 변환하는 경향이 있었으며(예: '6'을 '0'으로), 반면 Defense-GAN은 원래 클래스를 더 잘 유지했다.
• 결과적으로, Defense-GAN과 같은 학습된 사전 지식 기반 기법이 Vectorization과 같은 수작업 설계된 변환 기법보다 극단적인 페르튜베이션 처리에 더 효과적임을 시사한다.