[논문 리뷰] Transfer of Adversarial Robustness Between Perturbation Types

Daniel Kang, Yi Sun외 3명|arXiv (Cornell University)|2019. 05. 03.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 25

한 줄 요약

이 논문은 딥 네URAL 네트워크에서 다양한 변형 유형($L_\infty$, $L_2$, $L_1$, 탄성 변형, JPEG 등) 간에 적대적 강건성이 이전되는지 조사한다. 100개 클래스로 구성된 ImageNet 하위집합에서 적대적 훈련을 수행한 결과, 한 변형 유형에 대한 강건성이 다른 유형으로 안정적으로 이전되지 않으며, 특정 유형(예: 탄성 변형)에 대해 강건성을 향상시키는 훈련이 다른 유형에 대한 강건성을 떨어뜨릴 수도 있음을 보여준다. 주요 기여는 다양한 변형 유형과 크기를 활용해 방어 성능을 평가함으로써 종합적인 강건성 평가를 확보할 것을 제안하는 것이다.

ABSTRACT

We study the transfer of adversarial robustness of deep neural networks between different perturbation types. While most work on adversarial examples has focused on $L_\infty$ and $L_2$-bounded perturbations, these do not capture all types of perturbations available to an adversary. The present work evaluates 32 attacks of 5 different types against models adversarially trained on a 100-class subset of ImageNet. Our empirical results suggest that evaluating on a wide range of perturbation sizes is necessary to understand whether adversarial robustness transfers between perturbation types. We further demonstrate that robustness against one perturbation type may not always imply and may sometimes hurt robustness against other perturbation types. In light of these results, we recommend evaluation of adversarial defenses take place on a diverse range of perturbation types and sizes.

연구 동기 및 목표

• 한 변형 유형에 대해 훈련된 적대적 강건성이 다른 자연적 변형 유형으로 일반화되는지 조사하기.
• 다양한 공격 유형 간 강건성 이전에 영향을 미치는 변형 크기($\varepsilon$)의 변화가 어떻게 작용하는지 평가하기.
• 특정 공격(예: $L_2$)에 대해 적대적 훈련을 수행할 경우, 일반적으로 사용되는 $L_\infty$ 훈련보다 더 나은 일반화 성능을 얻을 수 있는지 평가하기.
• 한 변형 유형에 대해 강건성이 확보된다고 해서 다른 유형에 대해서도 강건성이 보장되지 않으며, 경우에 따라 다른 공격에 대한 성능이 악화될 수 있음을 보여주기.
• 다양한 변형 유형과 크기를 활용해 적대적 방어의 평가 지침을 실증적으로 제시하기.

제안 방법

• ResNet-50 모델에 대해 100개 클래스로 구성된 ImageNet 하위집합에서 5개의 변형 유형($L_\infty$, $L_2$, $L_1$, 탄성 변형, JPEG)에 대해 총 32개의 공격을 사용해 적대적 훈련을 적용하였다.
• 각 공격 유형에 대해 여러 개의 $\varepsilon$ 값이 사용되었으며, 유형 간 공격 강도가 유사하도록 기하학적 스케일링을 적용하였다.
• $L_\infty$ 및 $L_2$ 공격에는 프로젝션 기반 경사 하강법(PGD)을 사용하였고, $L_1$ 공격에는 프랭크-울프 최적화 기법을 적용하였다.
• 탄성 변형 공격는 학습된 매개변수를 가진 공간 변환을 통해 구현하였으며, JPEG 공격는 다양한 품질 요소를 가진 표준 이미지 압축을 사용하였다.
• 모델는 모든 32개의 공격 설정에 대해 강건성을 평가하였으며, 타겟 공격 및 무작위 타겟 클래스를 사용하였다.
• 강건성은 각 공격 유형과 $\varepsilon$ 값에서의 클린 정확도로 측정되었으며, 다양한 $\varepsilon$ 범위에서 결과를 분석하였다.

실험 결과

연구 질문

• RQ1 특정 변형 유형($L_\infty$ 등)에 대해 훈련된 적대적 강건성이 $L_2$, $L_1$, 탄성 변형, JPEG 등의 다른 자연적 변형 유형으로 효과적으로 이전되는가?
• RQ2 변형 크기($\varepsilon$)의 선택이 다양한 공격 유형 간 적대적 강건성의 이전 가능성에 어떻게 영향을 미치는가?
• RQ3 특정 공격 유형(예: 탄성 변형)에 대해 적대적 훈련을 수행할 경우, 다른 공격 유형에 대한 강건성이 떨어질 수 있는가?
• RQ4 $L_2$ 기반의 적대적 훈련이 $L_\infty$ 기반 훈련보다 더 효과적으로 일반화된 강건성을 유도할 수 있는가?
• RQ5 한 가지 변형 유형과 $\varepsilon$ 값에서만 강건성을 평가할 경우, 모델의 진정된 강건성에 대한 오해로 이어질 수 있는 정도는 어느 정도인가?

주요 결과

• 탄성 변형 공격에 대한 강건성은 다른 변형 유형으로 이전되지 않으며, 탄성 공격에 저항하도록 훈련된 모델은 $L_\infty$, $L_2$, $L_1$ 공격에서 정확도가 낮아진다.
• 탄성 변형 공격에 대해 $\varepsilon \geq 4$로 훈련할 경우 탄성 공격에 대한 강건성은 증가하지만, 다른 모든 공격 유형에서의 정확도는 감소하여 부정적 이전 효과가 있음을 시사한다.
• $L_2$ 공격에 대해 $\varepsilon = 4800$으로 훈련한 결과, 적응형 $\varepsilon$를 사용한 $L_\infty$ 훈련보다 유사하거나 더 뛰어난 강건성을 보였으며, 특히 강력한 공격에 대해 유리하다.
• 각 공격 유형에 대해 단일 $\varepsilon$ 값만을 사용해 강건성을 평가할 경우 오해로 이어질 수 있으며, 강건성 이전은 $\varepsilon$ 범위의 선택에 매우 민감하다.
• $L_\infty$ 공격에 대해 강건성이 확보된 모델이 반드시 $L_2$ 또는 $L_1$ 공격에 대해 일반화되지 않으며, 그 반대의 경우도 마찬가지로 성립하여 $L_p$ 노름 간의 이전이 제한적임을 보여준다.
• 이 연구는 특정 유형의 변형(특히 $L_p$가 아닌 유형인 JPEG 또는 탄성 변형 등)에 대해 강건성이 확보된다고 해서 다른 유형으로 일반화된다고 가정할 수 없음을 입증하며, $\varepsilon$ 선택이 철저히 이루어져도 마찬가지이다.