[논문 리뷰] MACER: Attack-free and Scalable Robust Training via Maximizing Certified Radius

Runtian Zhai, Dan Chen외 6명|arXiv (Cornell University)|2020. 01. 08.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 66

한 줄 요약

MACER는 무작위 스무딩으로 인증 반경을 직접 최대화하여 공격 없이도 강인한 심층 네트워크를 학습시키고, CIFAR-10, ImageNet, MNIST, SVHN 전반에 걸쳐 더 빠른 학습과 강력한 실증 결과로 provable l2-robustness를 달성한다.

ABSTRACT

Adversarial training is one of the most popular ways to learn robust models but is usually attack-dependent and time costly. In this paper, we propose the MACER algorithm, which learns robust models without using adversarial training but performs better than all existing provable l2-defenses. Recent work shows that randomized smoothing can be used to provide a certified l2 radius to smoothed classifiers, and our algorithm trains provably robust smoothed classifiers via MAximizing the CErtified Radius (MACER). The attack-free characteristic makes MACER faster to train and easier to optimize. In our experiments, we show that our method can be applied to modern deep neural networks on a wide range of datasets, including Cifar-10, ImageNet, MNIST, and SVHN. For all tasks, MACER spends less training time than state-of-the-art adversarial training algorithms, and the learned models achieve larger average certified radius.

연구 동기 및 목표

• 공격 의존적 학습 없이 provable한 보장을 제공하는 강인 분류를 고안한다.
• l2 섭동 하에서 인증된 강인성을 갖춘 심층 네트워크의 확장 가능한 학습을 가능하게 한다.
• 인증된 강인성을 개선하기 위해 직접 인증 강인성 반경을 최적화한다.
• 여러 데이터셋에 걸쳐 기존의 적대적 학습 및 인증 기반 기준선과 비교한다.

제안 방법

• 가우시안 스무딩으로 정의된 f_theta의 스무딩된 분류기 g_theta를 이용한다.
• 가우시안 스무딩 한계를 사용하여 인증 반경 CR(g_theta; x, y)을 계산한다.
• 공동 목적 함수 l(g_theta; x, y) = l_C(g_theta; x, y) + l_R(g_theta; x, y)로 형식화한다.
• 교차 엔트로피로서의 l_C와 인증 반경에 대한 힌지 로스로 surrogate 손실을 채택한다.
• Differentiable한 인증 반경을 얻기 위해 Soft-RS를 도입한다: 기대값을 가지는 CR(tilde g_theta; x, y)에서 가우시안 노이즈를 이용한다.
• z_theta의 몬테카를로 추정과 스무딩된 확률을 통해 경험적 surrogate 손실을 최적화한다.
• 내부 적대적 루프 없이 미니배치 업데이트를 교대로 수행하는 엔드-투-엔드 알고리즘(MACER)을 제공한다.

실험 결과

연구 질문

• RQ1 증명 가능한 강인성을 얻기 위해 공격 기반 학습 없이 인증 반경을 최대화할 수 있는가?
• RQ2 무작위 스무딩이 현대의 심층 네트워크와 대규모 데이터셋에 대해 확장 가능하며 신뢰할 수 있는 강인성 보장을 제공하는가?
• RQ3 MACER가 기존의 스무딩 분류기 및 적대적 학습에 비해 정확도와 평균 인증 반경(ACR) 측면에서 어떤 차이가 있는가?
• RQ4 인증 강인성을 안정적으로 최적화할 수 있는 실용적 surrogate 손실과 미분 가능 형식은 무엇인가?
• RQ5 초모수(노이즈 수준 sigma, 샘플 수 k, lambda, gamma, beta)가 데이터셋 간 강인성-정확도 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• MACER는 CIFAR-10, ImageNet, MNIST, SVHN 전반에서 CE 기반 학습만으로 얻은 것보다 더 높은 근사 인증 테스트 정확도를 일관되게 보여준다.
• CIFAR-10에서 MACER는 대략 같은 설정에서 baselines보다 더 큰 평균 인증 반경(ACR)을 달성하며, 일부 sigma 구성에서 약 3% 정도 개선된다.
• ImageNet에서 MACER는 학습 시간을 줄이면서 baselines와 유사하거나 더 나은 ACR을 달성한다. 예를 들어 sigma=0.25일 때 MACER의 ACR은 0.544로 Cohen의 0.470, Salman의 0.528보다 높다.
• 적대적 학습보다 내부 공격 루프를 피하기 때문에 CIFAR-10 및 ImageNet 비교에서 sec/epoch 및 총 학습 시간이 크게 낮아 학습 속도가 더 빠르다.
• Soft-RS 구성은 미분 가능한 인증 반경을 제공하여 안정적인 최적화를 가능하게 하며, 힌지 기반 강인성 손실은 폭발적 그래디언트 문제를 완화한다.
• 대규모 데이터셋과 아키텍처(예: CIFAR-10 및 ImageNet의 ResNet 변형)에서 학습 시간 효율성과 강인성 이득이 입증된다.