[논문 리뷰] Label Universal Targeted Attack

Naveed Akhtar, Mohammad A. A. K. Jalwana외 2명|arXiv (Cornell University)|2019. 05. 27.

Advanced Malware Detection Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 레이블 유니버설 타겟 공격(LUTA)을 소개한다. LUTA는 흑상자 환경이 아닌 화이트박스 공격으로, 깊이 신경망이 소스 클래스에 属하는 어떤 이미라도 사용자가 정의한 타겟 클래스로 잘못 분류할 확률을 높이기 위해 유니버설 노이즈를 생성한다. LUTA는 일阶 및 이阶 미분 기울기 모멘텀을 최적화하여 ImageNet 및 VGGFace 모델에서 높은 오염률을 달성하며, 실제 세계 환경에서도 강력한 전이성(transferability)을 보여준다.

ABSTRACT

We introduce Label Universal Targeted Attack (LUTA) that makes a deep model predict a label of attacker's choice for `any' sample of a given source class with high probability. Our attack stochastically maximizes the log-probability of the target label for the source class with first order gradient optimization, while accounting for the gradient moments. It also suppresses the leakage of attack information to the non-source classes for avoiding the attack suspicions. The perturbations resulting from our attack achieve high fooling ratios on the large-scale ImageNet and VGGFace models, and transfer well to the Physical World. Given full control over the perturbation scope in LUTA, we also demonstrate it as a tool for deep model autopsy. The proposed attack reveals interesting perturbation patterns and observations regarding the deep models.

연구 동기 및 목표

• 특정 소스 클래스의 전체 이미지를 사용자가 정한 타겟 레이블로 유니버설하게 잘못 분류할 수 있는 새로운 적대적 공격을 개발하는 것.
• 특정 소스 및 타겟 클래스 쌍을 대상으로 하여 노이즈 범위를 세밀하게 제어함으로써 공격의 실용성 향상.
• 비소스 클래스에 대한 뜻하지 않은 잘못 분류를 억제함으로써 탐지 위험을 최소화하고, 침투성(stealthiness) 유지.
• 공격를 모델 자가 분석(autopsy) 도구로 활용하여 깊이 신경망 내부의 분류 경계에 대한 통찰을 도출하는 것.
• LUTA의 노이즈가 실제 세계의 물리적 배치로 전이될 수 있음을 입증하여 실제 위협의 가능성을 검증하는 것.

제안 방법

• LUTA는 소스 클래스에 속하는 모든 이미지에 대해 타겟 클래스의 로그 확률을 최대화하는 스토하스틱 기울기 기반 최적화를 수립한다.
• 기본 및 이阶 기울기 모멘텀을 활용한 적응형 최적화(Adam과 유사)를 통해 효율적으로 노이즈를 학습한다.
• 제어 가능하고 눈에 띄지 않는 노이즈를 위해 ℓ∞ 또는 ℓ2 노름 제약을 적용하거나, 모델 분석을 위해 제약 없이 탐색을 허용한다.
• 비소스 클래스의 예측을 최적화 과정에서 능동적으로 억제하여 탐지 위험을 줄이고 침투성을 유지한다.
• 모델의 기울기와 아키텍처에 대한 전체 액세스 권한이 있는 화이트박스 설정에서 작동한다.
• 세 가지 변형을 평가: ℓ∞ 제약, ℓ2 제약, 제약 없음(LUTA), 후자는 모델의 결정 영역을 탐색하는 데 사용된다.

실험 결과

연구 질문

• RQ1 특정 소스 클래스의 모든 이미지를 특정 타겟 클래스로 유니버설하게 잘못 분류할 수 있는 적대적 노이즈를 구성할 수 있는가?
• RQ2 VGG-16, ResNet-50, Inception-V3 등의 다양한 딥 러닝 모델에서 ImageNet에서 공격의 효과성이 얼마나 높은가?
• RQ3 디지털 보정 없이 LUTA 노이즈가 실제 세계의 물리적 배치로 전이되는 정도는 어느 정도인가?
• RQ4 LUTA를 통해 생성된 노이즈 패턴 분석을 통해 깊이 신경망 내부의 결정 경계에 대한 통찰을 어느 정도 도출할 수 있는가?
• RQ5 일阶 및 이阶 기울기 모멘텀을 사용하면 공격의 효율성과 수렴 속도가 상당히 향상되는가?

주요 결과

• LUTA는 ℓ∞ 및 ℓ2 제약 조건 하에서 VGG-16, ResNet-50, Inception-V3, MobileNet-V2 등의 ImageNet 모델에서 99%의 오염 비율을 달성한다.
• 제약 없는 LUTA 변형은 '자동차'에서 '버스'로 이르는 중간 교통 수단 클래스를 거쳐 이동하는 경로를 따라 명확한 노이즈 패턴을 드러내며, 의미적으로 관련된 클래스 간 이동 경로를 시각화한다.
• 물리적 세계 실험 결과, LUTA 노이즈는 인쇄된 후 실시간 웹캠으로 촬영해도 효과를 유지하여 디지털 후처리 없이도 강력한 전이성을 입증한다.
• 일阶 및 이阶 기울기 모멘텀을 사용함으로써 최적화 효율성이 상당히 향상되어 높은 오염률에 도달하기 위한 반복 수를 줄였다.
• 비소스 클래스에 대한 잘못 분류를 성공적으로 억제하여 탐지 위험을 최소화하고, 배포 시 침투성을 유지한다.
• LUTA를 통해 전체 클래스 영역이 어떻게 조작되는지 시각화함으로써, 깊이 신경망의 결정 경계 내 기하학적 및 의미적 구조를 드러내는 모델 자가 분석이 가능해졌다.