[논문 리뷰] Fast Certified Robust Training with Short Warmup

Zhouxing Shi, Yihan Wang외 3명|arXiv (Cornell University)|2021. 03. 31.

Adversarial Robustness in Machine Learning참고 문헌 54인용 수 6

한 줄 요약

이 논문은 짧은 웜업 스케줄을 사용한 간격 경계 전파(IBP)를 이용한 신경망을 위한 빠른 인증 가능 강건성 훈련 방법을 제안한다. IBP 전용 가중치 초기화, 각 레이어에 완전한 배치 정규화, 그리고 인증 경계의 안정성과 ReLU 활성화 상태의 균형을 유지하기 위한 정규화를 도입하여, CIFAR-10(65.03%)과 TinyImageNet(82.36%)에서 각각 160 및 80 에포크 만에 최신 기술 수준의 인증 오차를 달성하며 훈련 비용을 크게 감소시켰다.

ABSTRACT

Recently, bound propagation based certified robust training methods have been proposed for training neural networks with certifiable robustness guarantees. Despite that state-of-the-art (SOTA) methods including interval bound propagation (IBP) and CROWN-IBP have per-batch training complexity similar to standard neural network training, they usually use a long warmup schedule with hundreds or thousands epochs to reach SOTA performance and are thus still costly. In this paper, we identify two important issues in existing methods, namely exploded bounds at initialization, and the imbalance in ReLU activation states and improve IBP training. These two issues make certified training difficult and unstable, and thereby long warmup schedules were needed in prior works. To mitigate these issues and conduct faster certified training with shorter warmup, we propose three improvements based on IBP training: 1) We derive a new weight initialization method for IBP training; 2) We propose to fully add Batch Normalization (BN) to each layer in the model, since we find BN can reduce the imbalance in ReLU activation states; 3) We also design regularization to explicitly tighten certified bounds and balance ReLU activation states during wamrup. We are able to obtain 65.03% verified error on CIFAR-10 ($ε=\frac{8}{255}$) and 82.36% verified error on TinyImageNet ($ε=\frac{1}{255}$) using very short training schedules (160 and 80 total epochs, respectively), outperforming literature SOTA trained with hundreds or thousands epochs under the same network architecture. The code is available at https://github.com/shizhouxing/Fast-Certified-Robust-Training.

연구 동기 및 목표

• 초기화 시 발산하는 경계와 균형 잡히지 않은 ReLU 활성화 상태로 인해 인증 가능 강건성 훈련이 불안정하고 비용이 많이 드는 문제를 해결하기 위해.
• IBP 기반 인증 훈련에서 수백에서 수천 에포크에 이르는 장기 웜업 스케줄이 필요로 하는 문제를 줄이기 위해.
• 유지 또는 최신 기술 수준의 인증 가능 강건성 성능를 유지하면서 훈련 효율성을 향상시키기 위해.
• IBP 훈련에서의 주요 불안정성, 즉 나쁜 가중치 초기화와 ReLU 불균형을 식별하고 해결하기 위해.

제안 방법

• 초기화 시 인증 경계의 날카움을 안정화하기 위한 새로운 IBP 전용 가중치 초기화 방법을 제안한다.
• 모든 레이어에 완전한 배치 정규화를 도입하여 ReLU 활성화 상태를 균형 잡고 기울기 흐름을 안정화한다.
• 인증 경계를 명시적으로 강화하고 웜업 기간 동안 균형 잡힌 ReLU 상태를 유지하기 위해 정규화 항을 설계한다.
• IBP 기반 인증 손실과 짧은 웜업 스케줄을 조합하여, 허용 오차 반경을 0에서 목표값으로 점차 증가시킨다.
• 초기 훈련 단계에서 경계의 폭발을 방지하고 분산을 안정화하기 위해 수정된 훈련 목표 함수를 사용한다.
• IBP 초기화, 배치 정규화, 정규화를 통합한 유일한 프레임워크를 활용하여 안정적이고 빠른 인증 가능 훈련을 실현한다.

실험 결과

연구 질문

• RQ1 기존의 IBP 기반 인증 훈련 방법이 왜 장기 웜업 스케줄이 필요한가?
• RQ2 나쁜 가중치 초기화가 IBP 훈련에서 인증 경계 전파의 불안정성에 어떤 기여를 하는가?
• RQ3 배치 정규화가 인증 훈련에서 ReLU 활성화 상태 불균형을 얼마나 효과적으로 완화할 수 있는가?
• RQ4 정규화가 짧은 웜업 기간 동안 인증 경계를 강화하고 훈련 안정성을 향상시키는 데 효과적인가?
• RQ5 성능을 저하시키지 않고 최신 기술 수준의 인증 가능 강건성 성능를 달성하기 위해 필요한 최소 훈련 스케줄은 무엇인가?

주요 결과

• 제안된 방법은 총 160 에포크 내에 CIFAR-10에서 ϵ = 8/255일 때 65.03%의 인증 오차를 달성한다.
• TinyImageNet에서 ϵ = 1/255일 경우, 단 80 에포크 내에 82.36%의 인증 오차를 기록하며 이전 최신 기술 수준의 방법들을 능가한다.
• 유사한 아키텍처를 사용한 이전 연구들이 900~2000 에포크를 사용한 것에 비해 총 훈련 비용을 크게 감소시켰다.
• 완전한 배치 정규화가 ReLU 활성화 상태 불균형을 효과적으로 감소시켜 안정성과 성능을 모두 향상시켰다.
• IBP 전용 가중치 초기화가 초기화 단계에서 경계의 폭발을 방지하여 더 빠른 수렴을 가능하게 하였다.
• IBP 초기화, 완전한 배치 정규화, 정규화의 조합이 최소한의 웜업으로도 안정적인 훈련을 가능하게 하였다.