[논문 리뷰] MixTrain: Scalable Training of Formally Robust Neural Networks.

Shiqi Wang, Yizheng Chen외 2명|arXiv (Cornell University)|2018. 11. 06.

Adversarial Robustness in Machine Learning참고 문헌 56인용 수 74

한 줄 요약

MixTrain는 계산 비용을 최소화하면서도 검증 가능하게 강건한 신경망 학습을 확장하기 위해 두 가지 효율적인 기법—스토하스틱 강건 근사와 동적 혼합 학습—을 도입한다. 랜덤으로 선택된 데이터 서브샘플링과 적응형 손실 균형 조정을 통해 ImageNet-200에서 최대 95.2%의 검증 가능 강건 정확도를 달성하며, 최신 검증 가능 강건 학습 방법보다 15배 빠르고, 최신 적대적 강건 학습 방법보다 3배 빠르게 학습을 수행한다.

ABSTRACT

Making neural networks robust against adversarial inputs has resulted in an arms race between new defenses and attacks. The most promising defenses, adversarially robust training and verifiably robust training, have limitations that restrict their practical applications. The adversarially robust training only makes the networks robust against a subclass of attackers and we reveal such weaknesses by developing a new attack based on interval gradients. By contrast, verifiably robust training provides protection against any L-p norm-bounded attacker but incurs orders of magnitude more computational and memory overhead than adversarially robust training. We propose two novel techniques, stochastic robust approximation and dynamic mixed training, to drastically improve the efficiency of verifiably robust training without sacrificing verified robustness. We leverage two critical insights: (1) instead of over the entire training set, sound over-approximations over randomly subsampled training data points are sufficient for efficiently guiding the robust training process; and (2) We observe that the test accuracy and verifiable robustness often conflict after certain training epochs. Therefore, we use a dynamic loss function to adaptively balance them for each epoch. We designed and implemented our techniques as part of MixTrain and evaluated it on six networks trained on three popular datasets including MNIST, CIFAR, and ImageNet-200. Our evaluations show that MixTrain can achieve up to $95.2\%$ verified robust accuracy against $L_\infty$ norm-bounded attackers while taking $15$ and $3$ times less training time than state-of-the-art verifiably robust training and adversarially robust training schemes, respectively. Furthermore, MixTrain easily scales to larger networks like the one trained on ImageNet-200, significantly outperforming the existing verifiably robust training methods.

연구 동기 및 목표

• 검증 가능 강건 학습의 높은 계산 비용과 메모리 소비 문제를 해결함으로써, 강건성 보장이 강력한데도 불구하고 실용적 적용이 제한되는 문제를 해결한다.
• 특히 간격 기반 기울기 기반 공격에 취약한 적대적 강건 학습의 취약성을 극복한다.
• 이전 방법들이 확장성 문제로 인해 실패하는 대규모 데이터셋인 ImageNet-200과 같은 대규모 데이터셋에서 검증 가능 강건 네트워크의 효율적 학습을 가능하게 한다.
• 학습 중 테스트 정확도와 검증 가능 강건성 간의 트레이드오프를 동적으로 손실 함수를 조정하여 균형을 이룬다.

제안 방법

• 스토하스틱 강건 근사는 전체 배치에 대한 과대근사 대신 무작위로 서브샘플링된 학습 포인트에 대한 과대근사를 사용하여 계산 비용을 감소시키면서도 강건성 보장을 유지한다.
• 동적 혼합 학습은 관측된 성능 갈등에 기반해 학습 에포크 동안 테스트 정확도와 검증 가능 강건성을 균형 잡는 적응형 손실 함수를 도입한다.
• 이 방법은 간격 기반 기울기를 활용해 적대적 강건 모델의 약점을 식별하고, 더 강건한 학습 전략 설계에 정보를 제공한다.
• 검증 가능 강건성은 네트워크 출력에 대한 간격 기반 경계를 통해 유지되며, 모든 L∞-노름으로 제한된 적대적 변형에 대해 공식적인 보장을 보장한다.
• 이러한 기법들은 통합된 프레임워크에 통합되어 기존의 검증 가능 강건 학습 파이프라인에 최소한의 수정으로도 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 ImageNet-200과 같은 대규모 모델 및 데이터셋에 대해 강건성 보장을 유지하면서도 검증 가능 강건 학습의 확장성을 높일 수 있는가?
• RQ2 학습 데이터를 서브샘플링하여 과대근사를 수행함으로써 검증 가능 강건 학습의 계산 오버헤드를 줄일 수 있는가, 이로 인해 강건성에 영향을 주지 않는가?
• RQ3 학습 중 손실 함수를 동적으로 조정하면 테스트 정확도와 검증 가능 강건성 간의 트레이드오프를 향상시킬 수 있는가?
• RQ4 제안된 방법은 최신 적대적 및 검증 가능 강건 학습 접근법과 비교해 효율성과 강건성 측면에서 어떻게 성능을 내는가?

주요 결과

• MixTrain는 L∞-노름으로 제한된 적대적 공격에 대해 ImageNet-200에서 최대 95.2%의 검증 가능 강건 정확도를 달성하며, 이는 이전의 검증 가능 강건 학습 방법보다 뚜렷이 뛰어나다.
• MixTrain를 사용한 학습 시간은 최신 검증 가능 강건 학습 방법보다 15배 빠르며, 이는 대규모 데이터셋에 대한 실용적 적용을 가능하게 한다.
• MixTrain는 적대적 강건 학습보다 학습 시간을 3배 단축시키면서도 더 강력한 강건성 보장을 유지한다.
• 이 방법은 기존의 검증 가능 강건 학습 접근법이 계산 제약으로 실패하는 대규모 네트워크, 특히 ImageNet-200에서 훈련된 네트워크로도 성공적으로 확장된다.
• 동적 혼합 학습은 각 에포크마다 손실 함수를 적응적으로 균형 조정함으로써 테스트 정확도와 검증 가능 강건성 간의 갈등을 효과적으로 해결한다.