[논문 리뷰] Universal Adversarial Perturbations Through the Lens of Deep Steganography: Towards A Fourier Perspective

Chaoning Zhang, Philipp Benz외 2명|arXiv (Cornell University)|2021. 02. 12.

Adversarial Robustness in Machine Learning참고 문헌 64인용 수 4

한 줄 요약

이 논문은 유니버설 적대적 편향(UAPs)과 딥 스테고그래피를 통합된 푸리에 시각으로 설명하기 위해 제안한다. 이는 양자 모두가 딥 뉴럴 네트워크의 고주파(HF) 성분에 대한 높은 민감도로 성공하기 때문임을 보여준다. 이 논문은 주파수 엔트로피 지표를 도입하여, UAP 하에서 모델 예측의 주요 기여를 고주파 성분이 차지함을 드러내며, 두 가지 새로운 공격 변형을 제안한다: 이중 목적 공격을 위한 유니버설 시크릿 적대적 편향(USAP)과 더 나은 시각적 투명성을 위한 고역통과 UAP(HP-UAP)로, 시각적 투명성을 감소시키면서도 95.8%의 오염 비율을 달성하였다.

ABSTRACT

The booming interest in adversarial attacks stems from a misalignment between human vision and a deep neural network (DNN), i.e. a human imperceptible perturbation fools the DNN. Moreover, a single perturbation, often called universal adversarial perturbation (UAP), can be generated to fool the DNN for most images. A similar misalignment phenomenon has recently also been observed in the deep steganography task, where a decoder network can retrieve a secret image back from a slightly perturbed cover image. We attempt explaining the success of both in a unified manner from the Fourier perspective. We perform task-specific and joint analysis and reveal that (a) frequency is a key factor that influences their performance based on the proposed entropy metric for quantifying the frequency distribution; (b) their success can be attributed to a DNN being highly sensitive to high-frequency content. We also perform feature layer analysis for providing deep insight on model generalization and robustness. Additionally, we propose two new variants of universal perturbations: (1) Universal Secret Adversarial Perturbation (USAP) that simultaneously achieves attack and hiding; (2) high-pass UAP (HP-UAP) that is less visible to the human eye.

연구 동기 및 목표

• 유니버설 적대적 편향(UAPs)과 딥 스테고그래피의 성공을 통합된 푸리에 시각으로 설명하기 위해.
• 주파수 성분, 특히 고주파(HF) 성분이 인간의 인지와 DNN 행동 간의 불일치에 핵심적인 요소인지 조사하기 위해.
• 초파rameter 조정이 필요 없는 주파수 분포에 대한 정량적 지표를 개발하기 위해.
• 적대적 내성과 스테고그래피 숨기기 또는 향상된 시각적 투명성의 조합을 갖는 새로운 유니버설 공격 변형을 제안하기 위해.
• HF 대비 저주파(LF) 성분의 맥락에서 모델 일반화 및 내성에 대한 이해를 위해 특징 레이어 다이내믹스를 분석하기 위해.

제안 방법

• 초파rameter 조정이 필요 없는 주파수 성분 분포를 정량적으로 평가하기 위해 새로운 주파수 엔트로피 지표를 제안한다.
• 푸리에 시각을 적용하여 UAPs와 딥 스테고그래피를 분석하고, 주파수 도메인에서 편향(P)과 원본 이미지(I)를 비교한다.
• UAP 생성 파이프라인에 미분 가능한 고역통과 필터(HPF)를 사용하여, 가시성을 줄이고도 높은 오염 비율을 유지하는 HP-UAP을 생성한다.
• USP 생성 프레임워크와 적대적 손실을 결합하여 유니버설 시크릿 적대적 편향(USAP)을 도입함으로써, 하나의 편향이 동시에 공격과 기밀 데이터 숨기기 기능을 수행할 수 있도록 한다.
• 다양한 레이어에서 정상 이미지, 편향된 이미지, 순수 편향 입력의 특징 맵 간 코사인 유사도를 사용하여 모델의 주의 집중 및 영향 다이내믹스를 분석한다.
• UAP 및 딥 스테고그래피 작업을 통합하여 주파수의 역할이 모델의 오해정렬 및 내성에 미치는 영향을 비교 분석한다.

실험 결과

연구 질문

• RQ1 주파수 성분, 특히 고주파 성분이 유니버설 적대적 편향의 성공에 얼마나 기여하는가?
• RQ2 적대적 공격과 딥 스테고그래피에서 인간의 인지와 DNN 행동 간의 불일치가 공통된 푸리에 도메인 프레임워크로 설명될 수 있는가?
• RQ3 입력 이미지의 주파수 분포가 유니버설 적대적 편향에 대한 내성에 어떻게 영향을 미치는가?
• RQ4 하나의 편향을 설계하여 동시에 적대적 공격과 기밀 데이터 숨기기(즉, 스테고그래피)를 실현할 수 있는가? (높은 투명성으로)
• RQ5 DNN의 다양한 레이어에서 고주파 대비 저주파 편향에 대해 특징 표현은 어떻게 반응하는가?

주요 결과

• UAP의 성공은 저주파(LF) 성분이 아니라 딥 뉴럴 네트워크의 고주파(HF) 성분에 대한 높은 민감도 때문임을 특징 레이어 분석과 제안된 엔트로피 지표로 확인하였다.
• 고주파 엔트로피(HE)를 가진 이미지는 UAP에 대해 상당히 강건하며, HE 이미지의 경우 초기 레이어에서 정상 및 편향된 특징 간 코사인 유사도가 약 0.9로 떨어지고, 후기 레이어에서는 약 0.75로 떨어지지만, 저엔트로피(LE) 이미지의 경우 약 0.0으로 떨어진다.
• 고역통과 UAP(HP-UAP)는 VGG19에서 대역폭 60일 때 90.1%의 오염 비율을 달성하였으며, 기준선(대역폭=0)의 94.4%에서 약간의 성능 저하를 보였지만 인간의 눈에 훨씬 덜 뚜렷하게 나타났다.
• 유니버설 시크릿 적대적 편향(USAP)은 VGG19에서 95.8%의 오염 비율을 달성하면서도 기밀 이미지를 성공적으로 임bed 및 복원함으로써, 이중 목적의 편향이 가능함을 입증하였다.
• 특징 레이어 분석 결과 고주파 편향이 후기 레이어를 지배하는 반면, 저주파 특징은 초기 레이어에 영향을 미치며, UAP은 인스턴스 의존적 편향(IDPs)과 달리 모든 레이어에 독립적인 인위적 특징을 도입한다.
• 랜덤 노이즈는 후기 레이어에 거의 영향을 주지 않으며, 이는 DNN이 노이즈에는 강건하지만, 구조화된 고주파 적대적 편향에는 매우 취약하다는 것을 시사한다.