[논문 리뷰] SemanticAdv: Generating Adversarial Examples via Attribute-conditional Image Editing

Haonan Qiu, Chaowei Xiao외 4명|arXiv (Cornell University)|2019. 06. 19.

Adversarial Robustness in Machine Learning참고 문헌 89인용 수 22

한 줄 요약

SemanticAdv는 분리된 표현과 특징 공간 보간을 사용하여 제어 가능한 속성 조작 기반으로 이미지를 편집함으로써 의미적으로 현실적인 적대적 예제를 생성하는 새로운 방법을 제안한다. 이 방법은 얼굴 인식 및 의미 분할 모델에서 T-FPR = 10⁻³일 때 최대 67.69%의 높은 표적 공격 성공률를 달성하며, 픽셀 기반 및 속성 기반 방어를 모두 우회하여 Lp 유계 변형을 초월한 새로운 취약점을 드러낸다.

ABSTRACT

Deep neural networks (DNNs) have achieved great success in various applications due to their strong expressive power. However, recent studies have shown that DNNs are vulnerable to adversarial examples which are manipulated instances targeting to mislead DNNs to make incorrect predictions. Currently, most such adversarial examples try to guarantee "subtle perturbation" by limiting the $L_p$ norm of the perturbation. In this paper, we aim to explore the impact of semantic manipulation on DNNs predictions by manipulating the semantic attributes of images and generate "unrestricted adversarial examples". In particular, we propose an algorithm \emph{SemanticAdv} which leverages disentangled semantic factors to generate adversarial perturbation by altering controlled semantic attributes to fool the learner towards various "adversarial" targets. We conduct extensive experiments to show that the semantic based adversarial examples can not only fool different learning tasks such as face verification and landmark detection, but also achieve high targeted attack success rate against \emph{real-world black-box} services such as Azure face verification service based on transferability. To further demonstrate the applicability of \emph{SemanticAdv} beyond face recognition domain, we also generate semantic perturbations on street-view images. Such adversarial examples with controlled semantic manipulation can shed light on further understanding about vulnerabilities of DNNs as well as potential defensive approaches.

연구 동기 및 목표

• Lp 유계 적대적 공격의 한계를 해결하기 위해, 의미적으로 현실적이지 않으며 의미 있는 시각적 속성 변화를 모델링하지 못하는 문제를 해결한다.
• 특정 시각적 속성(예: 머리카락 색상, 안경)을 조작하면서도 다른 이미지 콘텐츠를 유지함으로써 딥 네URAL 네트워크의 취약성을 세밀하게 분석할 수 있도록 한다.
• 시각적 속성의 제어 가능한 해석 가능한 의미적 변화를 생성하는 방법을 개발함으로써, 눈에 띄지 않는 픽셀 수준의 노이즈가 아닌 의미적 변화를 갖는 적대적 예제를 생성한다.
• 특히 픽셀 공간 또는 속성 공간 필터링 기반의 기존 방어 메커니즘의 강건성을 평가한다.
• 이 방법이 얼굴 인식을 넘어서 스트리트 뷰 이미지의 의미 분할과 같은 더 넓은 비전 작업으로 일반화될 수 있는지 보여준다.

제안 방법

• 기존에 훈련된 속성 조건 기반 이미지 생성 모델(예: StarGAN 또는 레이아웃-투-이미지 모델)을 활용하여, 원본 이미지와 한 가지 시각적 속성만 다를 수 있도록 수정된 이미지를 생성한다.
• 원본 이미지와 속성 편집된 이미지 사이의 특징 공간 보간을 사용하여 최종 적대적 예제를 생성함으로써 의미적 일관성과 제어 가능한 변형을 확보한다.
• 딥 생성 모델에서 유도된 분리된 표현을 활용하여 특정 시각적 속성을 별도로 고립하고 수정함으로써 관련 없는 이미지 콘텐츠는 손상시키지 않는다.
• 보간된 이미지를 적대적 예제로 활용하여 DNN을 공격함으로써, 시각적으로 타당성을 유지하면서도 잘못 분류되도록 유도한다.
• 얼굴 인식 및 의미 분할 모델을 대상으로 화이트박스 및_BLK박스 설정 모두에서 공격를 검증한다.
• 이중적으로 스트리트 뷰 이미지로의 확장을 위해, 이미지 편집의 조건 입력으로 의미적 레이아웃을 사용함으로써 의미 분할 모델에 대한 공격를 가능하게 한다.

실험 결과

연구 질문

• RQ1 Lp 유계 노이즈에 의존하지 않고, 속성 조건 기반 이미지 편집을 통해 의미적으로 의미 있고 시각적으로 현실적인 적대적 예제를 생성할 수 있는가?
• RQ2 이 방법은 실제 DNN에서 높은 표적 공격 성공률를 달성하는 데 얼마나 효과적인가, 특히 블랙박스 설정에서의 성능은 어떠한가?
• RQ3 특히 픽셀 기반(예: JPEG, 블러링) 및 속성 기반(예: AMI) 방어 기법들이 이러한 의미적 적대적 예제에 대해 여전히 효과적인가?
• RQ4 SemanticAdv의 공격 성능는 CW나 PGD와 같은 표준 적대적 공격와 비교해 볼 때 이동성 및 강건성 측면에서 어떻게 다른가?
• RQ5 이 방법은 얼굴 인식을 넘어서 스트리트 뷰 이미지의 의미 분할과 같은 비면 인식 작업으로 일반화될 수 있는가?

주요 결과

• SemanticAdv는 얼굴 인식 모델에서 T-FPR = 10⁻³일 때 표적 공격 성공률가 67.69%에 달하며, CW(37.24%) 및 기타 기준보다 뛰어난 성능를 보였다.
• 더 엄격한 T-FPR 기준(예: T-FPR = 10⁻⁴일 때 19.50%)에서도 높은 공격 성공률를 유지함으로써 강력한 이동성(transferability)을 입증했다.
• JPEG, 블러링, 피처 스queeze와 같은 기존 픽셀 기반 방어는 SemanticAdv에 대해 효과를 보이지 않으며, 공격 성공률가 높게 유지되었다.
• 속성 기반 방어인 AMI는 SemanticAdv로 생성된 적대적 예제 중 단지 8%만 정확하게 식별했으며, 이는 CW의 12%보다 낮은 성능를 보였다. 이는 AMI가 의미적 공격에 취약함을 시사한다.
• 적대적 훈련 기반 방어는 SemanticAdv로 생성된 예제에 대해 단지 10%의 정확도를 보였고, PGD에 비해 46.7%에 못 미쳤다. 이는 현재의 적대적 훈련이 의미적 변형에 대해 효과적이지 않음을 보여준다.
• 이 방법은 객체 삽입(예: 차량) 또는 속성 수정(예: 보행자 이동)을 통해 의미 분할 모델을 성공적으로 공격하여, 모델이 중요한 객체를 잘못 분류하거나 무시하도록 유도했다.