[논문 리뷰] MixACM: Mixup-Based Robustness Transfer via Distillation of Activated Channel Maps

Muhammad Awais, Fengwei Zhou외 4명|arXiv (Cornell University)|2021. 11. 09.

Adversarial Robustness in Machine Learning인용 수 9

한 줄 요약

MixACM는 민감도 향상을 위해 mixup 증강 입력에서 생성된 활성화 채널 맵을 매칭하여, 적대적으로 훈련된 교사 모델에서 학생 모델로 강건성을 전이하는 지식 정복 방법을 제안한다. 기존의 표준 적대적 훈련과 달리 반복적인 적대적 공격을 피하고, 더 낮은 계산 비용과 더 작은 모델로 더 높은 강건성과 자연 이미지 정확도를 달성한다.

ABSTRACT

Deep neural networks are susceptible to adversarially crafted, small and imperceptible changes in the natural inputs. The most effective defense mechanism against these examples is adversarial training which constructs adversarial examples during training by iterative maximization of loss. The model is then trained to minimize the loss on these constructed examples. This min-max optimization requires more data, larger capacity models, and additional computing resources. It also degrades the standard generalization performance of a model. Can we achieve robustness more efficiently? In this work, we explore this question from the perspective of knowledge transfer. First, we theoretically show the transferability of robustness from an adversarially trained teacher model to a student model with the help of mixup augmentation. Second, we propose a novel robustness transfer method called Mixup-Based Activated Channel Maps (MixACM) Transfer. MixACM transfers robustness from a robust teacher to a student by matching activated channel maps generated without expensive adversarial perturbations. Finally, extensive experiments on multiple datasets and different learning scenarios show our method can transfer robustness while also improving generalization on natural images.

연구 동기 및 목표

• 딥 러닝에서 적대적 훈련의 높은 계산 비용과 성능 저하 문제를 해결하기 위해.
• 종단 간 적대적 미세조정 대신 중간 특징 매칭을 통한 강건성 전이 지식 전달을 탐색하기 위해.
• 학생 훈련 중에 적대적 예제가 필요 없이 최소한의 추가 계산으로 강건성 전이를 가능하게 하기 위해.
• 더 작은 모델과 더 적은 데이터를 사용하여 자연 이미지에 대한 강건성과 일반화 능력을 향상시키기 위해.

제안 방법

• 이 방법은 반복적인 적대적 공격 생성이 필요 없도록, mixup 증강을 사용하여 보간된 훈련 샘플을 생성한다.
• 강건한 교사 모델에서 유도된 중간 활성화 채널 맵을 정복하여 학생 모델의 특징 학습을 이끈다.
• 정복 손실은 mixup 샘플에서 교사와 학생의 채널별 활성화 맵 간의 L2 거리를 최소화한다.
• 이론적 분석은 학생 모델의 적대적 강건성이 mixup 데이터에서의 자연 손실과 교사와의 특징 유사성에 의해 경계지어질 수 있음을 보여준다.
• 이 방법은 적대적으로 훈련된 모델이 편향에 대해 보존되는 고유한 클래스별 채널 활성화 패tern을 학습한다는 통찰을 활용한다.
• 이 방법은 표준 훈련 파이프라인과 호환되며, 일반 정복 외에 추가 백프로파게이션 단계가 필요하지 않다.

실험 결과

연구 질문

• RQ1 학생 모델 훈련 중에 적대적 예제를 사용하지 않고도 교사 모델에서 학생 모델로 강건성이 효과적으로 전이될 수 있는가?
• RQ2 mixup 증강 입력에서의 활성화 채널 맵을 매칭하면 강건성과 자연 정확도가 동시에 향상되는가?
• RQ3 기존의 적대적 훈련에 비해 더 작은 모델과 더 적은 데이터로 이 방법이 강건성을 강력하게 달성할 수 있는가?
• RQ4 채널 맵 정복을 통한 강건성 전이는 이론적으로 탄탄하고 다양한 데이터셋 및 아키텍처에 일반화 가능한가?

주요 결과

• MixACM는 표준 적대적 훈련에 비해 훨씬 낮은 훈련 비용으로 CIFAR-10과 SVHN에서 경쟁 가능한 강건 정확도를 달성한다.
• 이 방법은 자연 이미지의 클린 정확도를 향상시키면서 동시에 강건성을 높여, 일반적으로 적대적 훈련에서 관찰되는 상충 관계를 뒤집는다.
• 학생 모델가 교사 모델보다 작더라도 강건성 전이가 효과적으로 이루어지며, 강력한 일반화 능력을 보여준다.
• 실험 결과, 표준 또는 적대적으로 변형된 데이터에서의 정복보다 mixup 샘플에서의 정복이 강건성과 효율성 측면에서 뛰어나다는 것이 확인되었다.
• 이론적 분석은 학생과 교사 모델 간의 mixup 예제에서의 거리 최소화가 학생 모델의 적대적 손실을 경계지어 줌을 확인한다.