[논문 리뷰] Fine-grained Synthesis of Unrestricted Adversarial Examples

Omid Poursaeed, Tianxing Jiang외 4명|arXiv (Cornell University)|2019. 11. 20.

Adversarial Robustness in Machine Learning참고 문헌 63인용 수 9

한 줄 요약

이 논문은 최신 생성 모델인 StyleGAN과 같은 상태기반 생성 모델의 잠재 변수를 미세 조작하여 고해상도이자 제약 없는 적대적 예제를 생성하는 새로운 방법을 제안한다. 노름 기반 제약이 없는 공격 방식과 달리, 이는 검증된 방어 기법을 우회하고, 적대적 훈련에 사용될 경우 모델의 강건성을 향상시키며, 인간 평가를 통해 자연스러운 외관과 정확한 분류가 가능하다는 점에서 실현 가능한, 자연 이미지의 다양성 공간에 위치한 적대적 이미지를 생성한다.

ABSTRACT

We propose a novel approach for generating unrestricted adversarial examples by manipulating fine-grained aspects of image generation. Unlike existing unrestricted attacks that typically hand-craft geometric transformations, we learn stylistic and stochastic modifications leveraging state-of-the-art generative models. This allows us to manipulate an image in a controlled, fine-grained manner without being bounded by a norm threshold. Our approach can be used for targeted and non-targeted unrestricted attacks on classification, semantic segmentation and object detection models. Our attacks can bypass certified defenses, yet our adversarial images look indistinguishable from natural images as verified by human evaluation. Moreover, we demonstrate that adversarial training with our examples improves performance of the model on clean images without requiring any modifications to the architecture. We perform experiments on LSUN, CelebA-HQ and COCO-Stuff as high resolution datasets to validate efficacy of our proposed approach.

연구 동기 및 목표

• 노름 기반 제약이 없는 공격 방식의 한계를 해결하기 위해, 노름 제약 없이 이미지 특징을 제약 없이 세밀하게 조작할 수 있도록 하는 것.
• 사람의 평가를 통해 확인된 바와 같이, 자연 이미지와 시각적으로 구분되지 않는 현실적인, 자연 이미지 다양성 공간에 위치한 적대적 예제를 생성하는 것.
• 이러한 예제를 사용해 적대적 훈련을 통해 모델의 강건성을 향상시키되, 아키텍처 수정 없이 수행하는 것.
• 분류, 세분화, 객체 탐지와 같은 다양한 작업에 대해 이 방법의 효과성을 입증하는 것.
• 랜덤 스무딩 기반의 검증된 방어 기법을 뛰어넘어, 노름 제약 하에서 보장되는 강건성 보장을 우회하는 것.

제안 방법

• 사전 훈련된 생성 모델(예: StyleGAN)을 활용해 이미지의 다양성 요인을 분리하여 특정 속성에 대한 세밀한 제어를 가능하게 한다.
• 목표 모델의 손실 함수를 활용해 잠재 공간 최적화를 유도함으로써, 분류기를 오도시키면서도 현실성을 유지하는 적대적 예제를 생성한다.
• 다양한 해상도의 잠재 공간에서 거시적 및 미세 조작을 동시에 적용하여 다양한 적대적 변형을 생성한다.
• 생성 모델을 통해 현실적인 이미지에 제약을 두어, 적대적 예제가 자연 이미지 다양성 공간에 머물도록 보장한다.
• 이중 단계 프로세스를 적용: 첫 번째 단계는 잠재 최적화를 통한 적대적 이미지 생성, 두 번째 단계는 인간 평가 및 t-SNE 시각화를 통한 현실성 검증.
• 이러한 적대적 예제를 사용해 모델을 훈련함으로써 청소년 데이터에서의 성능을 향상시키며, 아키텍처 변경 없이도 가능하게 한다.

실험 결과

연구 질문

• RQ1 생성 모델 내에서의 세밀한 잠재 공간 조작이, 노름 제약 없이 현실적이며 제약 없는 적대적 예제를 생성할 수 있는가?
• RQ2 이러한 적대적 예제는 인간 평가를 통해 자연 이미지와 시각적으로 구분되지 않는가?
• RQ3 이러한 예제를 사용한 적대적 훈련이, 일반적으로 노름 제약이 있는 변형에서 관찰되는 성능 저하와는 달리 청소년 이미지에서의 정확도를 향상시킬 수 있는가?
• RQ4 이러한 방법이 랜덤 스무딩 기반의 검증된 방어 기법을 뛰어넘어, 노름 제약 하에서 보장되는 강건성 보장을 우회할 수 있는가?
• RQ5 이 방법은 분류, 세분화, 객체 탐지와 같은 복잡한 비전 작업으로까지 확장 가능한가?

주요 결과

• 소음 기반 적대적 예제는 99.2%의 인간 평가자가 정확히 분류했으며, 스타일 기반 예제는 98.7%가 정확히 분류되어 그 시각적 현실성이 확인되었다.
• 원본의 StyleGAN 생성 이미지 중 74.7%가 실제 이미지로 분류되었고, 소음 기반 예제는 74.3%, 스타일 기반 예제는 70.8%가 유사하게 실제 이미지로 판단되어 현실성 인식에 4% 미만의 감소가 있었다.
• 랜덤 스무딩 기반 검증 방어 기법(σ=0.5인 ResNet-50)은 정상 ImageNet 이미지에서 63.1%의 정확도를 보였지만, 스타일 기반 예제에서는 21.7%, 소음 기반 예제에서는 37.8%로 떨어져 이 공격에 대해 효과가 없음을 입증했다.
• 제안된 예제를 사용한 적대적 훈련은 LSUN 분류(89.5% 대 88.9%)와 COCO-Stuff 세분화(69.3% 대 67.9%)에서 청소년 데이터 정확도를 향상시켰으며, 일반적으로 성능 저하가 발생하는 노름 제약 훈련과는 달리 성능 향상을 보였다.
• 이 방법은 분류, 세분화, 객체 탐지에 대해 타겟 설정 및 비타겟 설정 모두 가능한 적대적 예제를 성공적으로 생성하여 광범위한 적용 가능성을 입증했다.
• 이 방법은 대상 모델의 아키텍처 수정이 필요 없으며, 다양한 작업과 데이터셋에서 일관된 성능을 보여 이론적 전이 가능성과 높은 전이성 유지가 가능하다.