[논문 리뷰] Towards Stable and Efficient Training of Verifiably Robust Neural Networks

Huan Zhang, Hongge Chen외 6명|arXiv (Cornell University)|2019. 06. 14.

Adversarial Robustness in Machine Learning참고 문헌 51인용 수 128

한 줄 요약

우리는 CROWN-IBP를 도입합니다, Interval Bound Propagation (IBP)와 CROWN 경계(bound)를 결합한 인증 가능한 강인성 교육 방법으로, MNIST와 CIFAR-10에서 ℓ∞ 노이즈에 대해 이전의 IBP 및 선형-릴랙스 baselines보다 더 빠르고 더 촘촘한 검증 가능 강인성을 달성합니다.

ABSTRACT

Training neural networks with verifiable robustness guarantees is challenging. Several existing approaches utilize linear relaxation based neural network output bounds under perturbation, but they can slow down training by a factor of hundreds depending on the underlying network architectures. Meanwhile, interval bound propagation (IBP) based training is efficient and significantly outperforms linear relaxation based methods on many tasks, yet it may suffer from stability issues since the bounds are much looser especially at the beginning of training. In this paper, we propose a new certified adversarial training method, CROWN-IBP, by combining the fast IBP bounds in a forward bounding pass and a tight linear relaxation based bound, CROWN, in a backward bounding pass. CROWN-IBP is computationally efficient and consistently outperforms IBP baselines on training verifiably robust neural networks. We conduct large scale experiments on MNIST and CIFAR datasets, and outperform all previous linear relaxation and bound propagation based certified defenses in $\\ell_\\infty$ robustness. Notably, we achieve 7.02% verified test error on MNIST at $\\epsilon=0.3$, and 66.94% on CIFAR-10 with $\\epsilon=8/255$. Code is available at https://github.com/deepmind/interval-bound-propagation (TensorFlow) and https://github.com/huanzhang12/CROWN-IBP (PyTorch).

연구 동기 및 목표

• DNN에서 검증 가능한 강인성의 필요성을 제시하고 기존의 선형 릴랙스 및 IBP 방법의 한계를 분석한다.
• IBP와 CROWN의 강점을 결합하여 교육 안정성과 경계의 촘촘함을 개선하는 혼합 학습 방법(CROWN-IBP)을 제안한다.
• 표준 데이터셋에서 ℓ∞ 적대적 노이즈에 대한 검증 가능한 강인성 및 확장성을 입증한다.
• 훈련 중 표준 정확도와 검증 가능한 정확도 간의 trade-off에 대한 통찰을 제공한다.

제안 방법

• 전방 IBP 패스를 통해 느슨하지만 확장 가능한 경계를 얻고, 역방향 CROWN 스타일 패스를 통해 강인 경계를 더 촘촘하게 다듬는 하이브리드 경계 전달 프레임워크를 제시한다.
• 적응형 릴랙스를 사용하여 ReLU 활성화를 선형화하고(식 Eq. 10–11), 계산 가능한 경계를 얻는다.
• 마진의 하한을 결합하여 계산한다: underline m = IBP_bound + beta * CROWN-IBP_bound (식 9)으로, 촘참성과 효율성의 균형을 맞추는 tunable beta를 사용한다.
• 마지막 층에서 역방향으로 A 행렬 시퀀스를 사용하여 네트워크의 선형 대리모를 구성하는 경계를 전달한다(식 12–13).
• 출력 크기가 작아져 표준 CROWN/Convex Adversarial Polytope 대비 계산 복잡도를 개선하고 역방향 비용을 O(L n^2 nL)로 줄인다.
• 자연 손실(클린 손실)과 하한 기반의 강인 손실을 혼합한 유연한 학습 목표를 허용한다(식 9).
• epsilon의 증가 속도 ramp-up 스케줄과 kappa(자연 손실과 강인 손실의 결합 비율) 및 beta(IBP 대 CROWN-IBP 기여도) 튜닝을 포함한 실용적 학습 전략을 제공한다.

실험 결과

연구 질문

• RQ1 신경망에 대해 검증 가능한 강인성 보장을 갖춘 효율적이고 확장 가능한 학습을 어떻게 달성할 수 있는가?
• RQ2 IBP와 CROWN 스타일 경계의 결합이 전체 볼록 릴랙스의 높은 비용 없이 더 촘촘한 검증 가능 경계를 낳을 수 있는가?
• RQ3 하이브리드 경계가 데이터셋과 노이즈 수준에서 표준 정확도와 검증 가능한 정확도에 미치는 영향은 무엇인가?
• RQ4 CROWN-IBP가 순수 IBP 및 선형 릴랙스 baselines에 비해 학습 안정성 및 검증 촘촘성 면에서 어떤 차이가 있는가?

주요 결과

• CROWN-IBP는 ℓ∞ 노이즈 하에서 MNIST 및 CIFAR-10에 대해 IBP 베이스라인보다 검증 가능한 강인성을 일관되게 향상시킨다.
• MNIST에서 ε=0.3일 때 CROWN-IBP는 검증 가능한 오류를 8.21%(IBP 베이스라인)에서 7.02%로 감소시킨다.
• CIFAR-10에서 ε=2/255에서 CROWN-IBP는 검증 가능한 오류를 55.88%(IBP)에서 46.03%로 감소시키며, 더 큰 ε에서 볼록 릴랙스 방법과 맞먹거나 능가한다.
• CROWN-IBP는 IBP 기반 방법 중 최첨단 성능을 달성하고 MNIST와 CIFAR-10 모두에서 이전 IBP 결과를 능가한다.
• CROWN-IBP는 IBP 단독보다 더 촘촘한 경계를 달성하면서도 확장성을 유지하고, 전체 선형 릴랙스 방법에서 관찰되는 과다 정규화 현상을 피한다.
• 이 방법은 κ 매개변수와 경계 결합에서 β 매개변수를 통해 표준 정확도와 검증 가능한 정확도 간의 trade-off를 조정하는 메커니즘을 제공한다.