[논문 리뷰] An Empirical Evaluation of Adversarial Robustness under Transfer Learning

Todor Davchev, Timos Korres외 3명|arXiv (Cornell University)|2019. 05. 07.

Adversarial Robustness in Machine Learning참고 문헌 15인용 수 6

한 줄 요약

이 논문은 CIFAR-100에서 훈련된 ResNet56을 기반으로, FGSM 및 PGD 적대적 훈련을 사용하여 CIFAR-10의 타겟 네트워크로 적대적 강건성 전이를 평가한다. PGD 기반 강건 특징이 FGSM보다 더 효과적으로 전이됨을 발견하였으며, 강건 가중치 초기화와 타겟에서의 적대적 훈련을 사용할 경우 백색 상자 PGD 공격에 대해 5.2% 높은 정확도를 달성하여, 이식 가능한 방어 전략을 위한 반복적 강건 최적화의 중요성을 강조한다.

ABSTRACT

In this work, we evaluate adversarial robustness in the context of transfer learning from a source trained on CIFAR 100 to a target network trained on CIFAR 10. Specifically, we study the effects of using robust optimisation in the source and target networks. This allows us to identify transfer learning strategies under which adversarial defences are successfully retained, in addition to revealing potential vulnerabilities. We study the extent to which features learnt by a fast gradient sign method (FGSM) and its iterative alternative (PGD) can preserve their defence properties against black and white-box attacks under three different transfer learning strategies. We find that using PGD examples during training on the source task leads to more general robust features that are easier to transfer. Furthermore, under successful transfer, it achieves 5.2% more accuracy against white-box PGD attacks than suitable baselines. Overall, our empirical evaluations give insights on how well adversarial robustness under transfer learning can generalise.

연구 동기 및 목표

• CIFAR-100에서 훈련된 소스 모델의 적대적 강건성이 CIFAR-10의 타겟 모델로 어떻게 전이되는지 조사하기 위해.
• 적대적 훈련을 통해 학습된 강건 특징이 전이 학습 하에서 다양한 작업으로 일반화되는지 평가하기 위해.
• 흑색 상자 및 백색 상자 적대적 공격에 대한 강건성을 유지하거나 향상시키는 전이 학습 전략을 규명하기 위해.
• 타겟 네트워크에서 강건 가중치 초기화 및 적대적 훈련이 방어 일반화에 미치는 영향을 평가하기 위해.

제안 방법

• 세 가지 전략을 사용하여 CIFAR-100에서 훈련된 ResNet56을 기반으로 CIFAR-10의 타겟 네트워크로 전이 학습을 수행한다: 마지막 레이어만 고정, 마지막 블록만 해제, 전체 네트워크의 피넷유닝.
• 두 가지 위협 모델을 사용하여 적대적 강건성을 평가한다: 빠른 기울기 부호 방법(FGSM)과 투영된 기울기 강하(PGD)이며, PGD는 반복적 공격을 통해 강건 최적화에 사용된다.
• 소스 및 타겟 네트워크 양쪽에서 FGSM 및 PGD를 통해 생성된 적대적 예제를 데이터 증강하여 훈련 중 강건 최적화를 적용한다.
• 흑색 상자 및 백색 상자 공격 설정 하에서 청소 및 적대적 정확도를 사용하여 다양한 훈련 및 전이 조합의 성능을 평가한다.
• 제거 분석을 통해 소스 및 타겟에서 자연적(nat) 또는 적대적(adv) 최적화를 사용한 모델을 비교하며, R_adv→adv와 같이 소스 및 타겟 훈련 방법을 기호화한다.
• 정규화된 히트맵과 포괄적인 정확도 표를 사용하여 결과를 시각화하며, 주요 비교는 강건성 전이와 청소 정확도 간의 트레이드오프에 집중한다.

실험 결과

연구 질문

• RQ1 FGSM 또는 PGD를 통해 학습된 적대적 강건성이 CIFAR-100의 소스 모델에서 CIFAR-10의 타겟 모델로 효과적으로 전이되는가?
• RQ2 적대적 훈련 방법의 선택(FGSM 대비 PGD)이 강건 특징의 전이 가능성에 어떤 영향을 미치는가?
• RQ3 강건 가중치 초기화가 특히 백색 상자 공격 하에서 방어 성능을 향상시킬 수 있는가?
• RQ4 다양한 전이 학습 전략(예: 피넷유닝 대비 특징 추출)이 강건성과 청소 정확도에 어떤 영향을 미치는가?
• RQ5 하위 수준 특징이 강건성 전이에 얼마나 기여하는가? 그리고 분류적 특징에 의존하는 것과 비교해 볼 때 어떻게 다른가?

주요 결과

• 소스 네트워크에서 PGD 기반 적대적 훈련은 FGSM 기반 방어보다 더 일반화 가능한 강건 특징을 생성하여 더 효과적으로 전이된다.
• 소스 작업에서 PGD 적대적 예제를 사용해 훈련하면, 타겟 네트워크에서 백색 상자 PGD 공격에 대해 기준 모델 대비 5.2% 높은 정확도를 달성한다.
• 강건 가중치 초기화와 타겟 네트워크에서의 적대적 훈련을 조합하면 백색 상자 공격에 대한 강건성이 크게 향상되어 평가된 설정에서 최신 기술 성능을 달성한다.
• 하위 수준 특징에만 의존하는 방어는 흑색 상자 공격에 대해 충분히 강건하며, 고수준의 분류적 특징에 의존하는 것보다 더 일관되게 전이된다.
• 네트워크의 마지막 블록만 피넷유닝하는 전략은 성능과 훈련 효율성 사이의 좋은 트레이드오프를 제공하며, 낮은 계산 비용으로 기준에 가까운 강건성을 달성한다.
• 강건 초기화 후 타겟 네트워크에서 비반복적 방법(예: FGSM)을 사용한 적대적 훈련은 성능이 열 劣하므로, PGD와 같은 반복적 공격이 강건 방어를 구축하기 위해 필수적임을 시사한다.