[논문 리뷰] Strength in Numbers: Trading-off Robustness and Computation via Adversarially-Trained Ensembles

Edward Grefenstette, Robert Stanforth외 4명|arXiv (Cornell University)|2018. 11. 22.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 6

한 줄 요약

이 논문은 단일 대규모 모델을 확장하는 것보다 더 효율적으로 적대적 방어성(robustness)을 향상시키기 위해, 더 작은 모델들의 앙상블을 하나의 통합 모델로 적대적 훈련하는 방법을 제안한다. 핵심 발견은 적대적 훈련이 앙상블 전체에 대해 이루어질 때 방어성이 향상되며, 앙상블 자체의 구조 때문이 아니라, 이로 인해 더 계산 효율적인 방어성과 모델 크기의 균형을 이룰 수 있다는 것이다.

ABSTRACT

While deep learning has led to remarkable results on a number of challenging problems, researchers have discovered a vulnerability of neural networks in adversarial settings, where small but carefully chosen perturbations to the input can make the models produce extremely inaccurate outputs. This makes these models particularly unsuitable for safety-critical application domains (e.g. self-driving cars) where robustness is extremely important. Recent work has shown that augmenting training with adversarially generated data provides some degree of robustness against test-time attacks. In this paper we investigate how this approach scales as we increase the computational budget given to the defender. We show that increasing the number of parameters in adversarially-trained models increases their robustness, and in particular that ensembling smaller models while adversarially training the entire ensemble as a single model is a more efficient way of spending said budget than simply using a larger single model. Crucially, we show that it is the adversarial training of the ensemble, rather than the ensembling of adversarially trained models, which provides robustness.

연구 동기 및 목표

• 딥 러닝 모델에서 계산 비용과 적대적 방어성 간의 상호 상충 관계를 조사한다.
• 작은 타겟 입력 변형으로 인해 잘못 분류되는 신경망의 취약성을 다룬다.
• 적대적 훈련과 결합했을 때 앙상블링이 방어성을 향상시킬 수 있는지 탐색한다.
• 방어성 향상의 원인이 앙상블 아키텍처 자체인지, 아니면 앙상블 전체에 대한 적대적 훈련인지 확인한다.
• 고정된 파라미터 예산 하에서 단일 대규모 모델 대비 앙상블 전략의 효율성을 평가한다.

제안 방법

• 작은 신경망의 앙상블을 하나의 공동 모델로 훈련하고, 전체 앙상블을 동시에 적대적 훈련에 적용한다.
• 훈련 중에 반복적인 적대적 공격 방법(PGD, IFGSM 등)을 사용해 변형을 생성하고, 앙상블의 방어성을 최적화한다.
• 동일한 파라미터 수를 가진 모델들 간에 비교: 단일 대규모 모델, 적대적 훈련을 하지 않은 앙상블, 전체적으로 단일 단위로 적대적 훈련된 앙상블.
• 다양한 공격 유형(FGSM, PGD)과 메트릭(정상 정확도, 다양한 공격 단계에서의 방어 정확도)을 사용해 방어성을 평가한다.
• 아날리시스를 통해 앙상블 훈련의 기여도와 단순한 앙상블링의 기여도를 분리한다.
• CIFAR-10에서 통제된 환경에서 훈련 동역학, 최종 성능, 강도가 증가하는 공격에 대한 방어성 등을 비교한다.

실험 결과

연구 질문

• RQ1 같은 파라미터 수를 가진 단일 대규모 모델을 훈련하는 것보다, 단일 모델로 통합된 앙상블에 대해 적대적 훈련을 적용하는 것이 더 효과적으로 방어성을 향상시키는가?
• RQ2 앙상블의 방어성 향상은 앙상블 아키텍처 자체의 영향인지, 아니면 앙상블 전체에 대한 적대적 훈련의 결과인가?
• RQ3 같은 총 파라미터 수를 가진 개별적으로 적대적 훈련된 모델들과 비교했을 때, 전체적으로 적대적 훈련된 앙상블의 방어성은 어떻게 되는가?
• RQ4 더 강한 공격(예: 더 많은 PGD 단계)에 대해 앙상블의 방어성이 떨어지는가? 그리고 단일 모델 기준선과 비교해보면 어떻게 되는가?
• RQ5 단일 모델을 확장하는 것보다, 더 작은 모델들을 앙상블로 사용함으로써 더 나은 방어성-계산 효율성을 달성할 수 있는가?

주요 결과

• 같은 수의 파라미터를 가진 단일 대규모 모델을 훈련하는 것보다, 단일 모델로 통합된 앙상블에 대해 적대적 훈련을 적용하면 훨씬 더 높은 방어성을 얻을 수 있다.
• Ensemble2Adv 모델은 PGD20 정확도 52%를 기록하여 SingleAdv 기준선(45%)보다 7%p 높고, DoubleAdv 모델(47%)보다도 5%p 높았다. 이는 동일한 파라미터 수를 가졌음에도 불구하고 성능이 뛰어나다는 것을 의미한다.
• 전체적으로 적대적 훈련된 앙상블은 적대적 훈련을 하지 않은 앙상블(Ensemble2 대비 Ensemble2Adv)보다 PGD20 기준 29%p 더 높은 방어성을 보였다.
• 적대적 훈련된 앙상블의 방어성은 훈련 전반에 걸쳐 안정적으로 유지되었지만, 적대적 훈련을 하지 않은 모델들은 장기 훈련에 따라 잠시 동안만 방어성이 유지되다가 점차 감소하는 경향을 보였다.
• 앙상블 내 각 모델을 별도로 적대적 훈련한 경우(Separate2Adv)는 단일 적대적 훈련 모델과 유사한 방어성을 보였으며, 이는 앙상블 아키텍처 자체가 방어성을 높이지 못한다는 것을 시사한다.
• 500단계 PGD 공격 조건에서도 Ensemble2Adv 모델은 SingleAdv 기준선보다 7%p의 정확도 우위를 유지하여, 강력한 공격 조건에서도 지속적인 방어성을 입증했다.