[논문 리뷰] Fast Certified Robust Training via Better Initialization and Shorter Warmup.

Zhouxing Shi, Yihan Wang외 3명|arXiv (Cornell University)|2021. 03. 31.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 IBP 전용 가중치 초깃값과 웜업 동안 적응형 정규화를 도입하여 더 빠른 검증 가능 강건성 훈련 방법을 제안한다. 이는 훈련 시간을 크게 줄이며 동시에 강건성 정확도를 향상시킨다. CIFAR-10($\epsilon=8/255$)에서 65.03%의 SOTA 검증 오차를 기록했고, TinyImageNet($\epsilon=1/255$)에서는 82.13%를 기록했다. 각각 160 및 80 에포크만으로도 기존 방법들이 수백 또는 수천 에포크가 필요로 했던 성능을 뛰어넘었다.

ABSTRACT

Recently, bound propagation based certified adversarial defense have been proposed for training neural networks with certifiable robustness guarantees. Despite state-of-the-art (SOTA) methods including interval bound propagation (IBP) and CROWN-IBP have per-batch training complexity similar to standard neural network training, to reach SOTA performance they usually need a long warmup schedule with hundreds or thousands epochs and are thus still quite costly for training. In this paper, we discover that the weight initialization adopted by prior works, such as Xavier or orthogonal initialization, which was originally designed for standard network training, results in very loose certified bounds at initialization thus a longer warmup schedule must be used. We also find that IBP based training leads to a significant imbalance in ReLU activation states, which can hamper model performance. Based on our findings, we derive a new IBP initialization as well as principled regularizers during the warmup stage to stabilize certified bounds during initialization and warmup stage, which can significantly reduce the warmup schedule and improve the balance of ReLU activation states. Additionally, we find that batch normalization (BN) is a crucial architectural element to build best-performing networks for certified training, because it helps stabilize bound variance and balance ReLU activation states. With our proposed initialization, regularizers and architectural changes combined, we are able to obtain 65.03% verified error on CIFAR-10 ($\epsilon=\frac{8}{255}$) and 82.13% verified error on TinyImageNet ($\epsilon=\frac{1}{255}$) using very short training schedules (160 and 80 total epochs, respectively), outperforming literature SOTA trained with a few hundreds or thousands epochs.

연구 동기 및 목표

• 기존 검증 가능 적대적 훈련 방법이 요구하는 장기적인 웜업 스케줄을 줄이기 위해, 비록 배치 복잡도는 유사하더라도 계산 비용이 매우 높은 문제를 해결하기 위함이다.
• Xavier 또는 직교 초깃값과 같은 표준 가중치 초깃값 방법으로 인해 IBP 기반 훈련에서 초기 단계에서 느슨한 검증 가능한 경계가 발생하는 문제를 해결하기 위함이다.
• IBP 기반 훈련 중에 ReLU 활성화 상태의 불균형이 모델 성능에 악영향을 미치는 문제를 완화하기 위함이다.
• 배치 정규화가 검증 가능한 경계 분산을 안정화하고 ReLU 활성화 상태의 균형을 개선하는 데 핵심적인 아키텍처 구성 요소로 기능하는지 규명하기 위함이다.
• 훈련 시간을 크게 단축시킬 수 있는 상태의 검증 가능 강건성 훈련을 위한 완전한 훈련 파이프라인을 개발하기 위함이다.

제안 방법

• 이론적 분석에 기반한 검증 가능한 경계 전파 분석을 통해 유도된 새로운 IBP 전용 가중치 초깃값 기법을 제안하며, 이는 훈련 시작 단계부터 경계를 강화하도록 설계되어 있다.
• 웜업 단계 동안 검증 가능한 경계의 안정성과 초기 훈련 반복에서의 분산 감소를 위해 체계적인 정규화 기법을 도입한다.
• ReLU 활성화 상태의 균형을 맞추고 층 간 검증 가능한 경계의 분산을 안정화하기 위해 배치 정규화를 핵심 아키텍처 구성 요소로 활용한다.
• 개선된 초깃값과 정규화 기법을 통해 웜업 단계를 단축시킴으로써 훈련 스케줄을 최적화하고, 더 적은 에포크 수로 수렴 가능하게 한다.
• 검증 가능한 강건성 프레임워크로 간격 경계 전파(IBP)를 사용하며, 효율성을 향상시키기 위해 가중치 초깃값과 훈련 동역학에 수정을 가한다.
• 최적화 수준의 향상과 아키텍처적 개선을 조합하여, 최소한의 훈련 시간으로 높은 검증 가능한 강건성을 달성한다.

실험 결과

연구 질문

• RQ1 왜 표준 가중치 초깃값 방법(예: Xavier 또는 직교 초깃값)이 IBP 기반 훈련에서 초기 단계에서 느슨한 검증 가능한 경계를 초래하는가?
• RQ2 ReLU 활성화 상태의 불균형이 IBP 훈련 중에 검증 가능한 강건성에 어떤 영향을 미치며, 이를 완화할 수 있는가?
• RQ3 특화된 초깃값과 정규화 전략이 성능을 희생시키지 않고 웜업 스케줄을 크게 단축시킬 수 있는가?
• RQ4 배치 정규화는 검증 가능한 경계 안정성과 ReLU 활성화 상태 균형 향상에 어떤 역할을 하는가?
• RQ5 개선된 초깃값, 정규화 기법, 아키텍처 선택의 조합이 상당히 줄어든 훈련 에포크 수로 SOTA 검증 가능한 강건성을 달성할 수 있는가?

주요 결과

• 제안된 IBP 전용 초깃값 기법은 초기 단계에서 검증 가능한 경계를 크게 강화하여 장기적인 웜업 스케줄이 필요로 하는 것을 줄였다.
• 웜업 단계에서 체계적인 정규화 기법을 사용함으로써 경계 전파의 안정성이 향상되고 수렴 속도가 빨라져, 더 적은 에포크 수로 효과적인 훈련이 가능해졌다.
• 배치 정규화는 경계 분산 안정화와 ReLU 활성화 상태 균형 향상에 필수적이며, 직접적으로 검증 가능한 정확도 향상에 기여함을 발견했다.
• CIFAR-10($\epsilon=8/255$)에서 총 160개의 훈련 에포크만으로도 65.03%의 검증 오차를 기록했으며, 이는 기존 SOTA 방법들이 수백 또는 수천 에포크를 훈련시킨 것보다 뛰어난 성능을 보였다.
• TinyImageNet($\epsilon=1/255$)에서는 단 80개의 에포크로 82.13%의 검증 오차를 기록했으며, 이는 기존 방법들에 비해 극적인 효율성 향상을 보였다.
• 개선된 초깃값, 정규화 기법, 배치 정규화의 조합은 최소한의 훈련 비용으로 SOTA 검증 가능한 강건성을 달성할 수 있도록 했다.