[논문 리뷰] Boosting the Certified Robustness of L-infinity Distance Nets

Bohang Zhang, Jiang Du외 2명|arXiv (Cornell University)|2021. 10. 13.

Adversarial Robustness in Machine Learning참고 문헌 59인용 수 6

한 줄 요약

이 논문은 ℓ∞-거리 네트워크—즉, 본질적으로 1-Lipschitz이므로 ℓ∞ 변형에 대해 자연스럽게 인증 가능하게 강건한 신경망—의 훈련 전략을 새롭게 제안한다. 비율 감소하는 혼합 계수를 가진 스케일된 교차 엔트로피와 잘라내기 허브 손실을 조합한 하이브리드 손실을 도입함으로써, 이전의 ℓp-완화 기법에서 발생하는 최적화 문제를 극복하여 CIFAR-10(ε=8/255)에서 40.06%의 인증 정확도를 달성하게 되었으며, 이는 이전 최고 성능에 비해 상당한 향상이다.

ABSTRACT

Recently, Zhang et al. (2021) developed a new neural network architecture based on $\ell_\infty$-distance functions, which naturally possesses certified $\ell_\infty$ robustness by its construction. Despite the novel design and theoretical foundation, so far the model only achieved comparable performance to conventional networks. In this paper, we make the following two contributions: $\mathrm{(i)}$ We demonstrate that $\ell_\infty$-distance nets enjoy a fundamental advantage in certified robustness over conventional networks (under typical certification approaches); $\mathrm{(ii)}$ With an improved training process we are able to significantly boost the certified accuracy of $\ell_\infty$-distance nets. Our training approach largely alleviates the optimization problem that arose in the previous training scheme, in particular, the unexpected large Lipschitz constant due to the use of a crucial trick called $\ell_p$-relaxation. The core of our training approach is a novel objective function that combines scaled cross-entropy loss and clipped hinge loss with a decaying mixing coefficient. Experiments show that using the proposed training strategy, the certified accuracy of $\ell_\infty$-distance net can be dramatically improved from 33.30% to 40.06% on CIFAR-10 ($ε=8/255$), meanwhile outperforming other approaches in this area by a large margin. Our results clearly demonstrate the effectiveness and potential of $\ell_\infty$-distance net for certified robustness. Codes are available at https://github.com/zbh2047/L_inf-dist-net-v2.

연구 동기 및 목표

• 이론적으로 이점이 있는 Lipschitz 기반 인증에 기반한 ℓ∞-거리 네트워크의 최적화되지 않은 인증 강건성 문제를 해결하기 위해.
• 이전 훈련 기법에서 발생하는 최적화 실패, 특히 ℓp-완화로 인해 의도하지 않게 증가하는 Lipschitz 상수 문제를 규명하고 해결하기 위해.
• 추가적인 MLP 헤드 없이도 ℓ∞-거리 네트워크 자체만으로도 최고 수준의 인증 강건성을 달성할 수 있음을 입증하기 위해.
• 네트워크의 본질적 1-Lipschitz 성질을 유지하면서도 강건성 정확도를 최대화하는 이론적으로 탄탄한 효과적인 훈련 목표를 수립하기 위해.

제안 방법

• 스케일된 교차 엔트로피와 수정된 잘라내기 허브 손실을 조합한 하이브리드 손실 함수를 제안하고, 훈련 중 강건성과 정확도를 균형 잡기 위해 감쇠하는 혼합 계수를 도입한다.
• 이전 연구에서 사용된 ℓp-완화 기법을 대체로, 네트워크의 Lipschitz 상수를 증가시키지 않는 미분 가능하고 완화되지 않은 공식화를 사용한다.
• 출력 마진을 직접 최대화하도록 손실 함수를 설계하여 마진 기반 인증이 가능하게 하되, 동시에 네트워크의 1-Lipschitz 성질을 유지한다.
• 신규 목표를 사용해 ℓ∞-거리 네트워크를 엔드 투 엔드로 훈련함으로써, 정방향 전파만으로도 모델이 본질적으로 인증 가능하게 강건해지도록 보장한다.
• 완전 연결 구조를 사용해 ℓ∞-거리 네트워크를 설계함으로써, 단순성과 인증 효율성을 유지하기 위해 추가적인 MLP 헤드가 필요로 하지 않도록 한다.
• CIFAR-10에서 ε=8/255 조건 하에 기존 최고 성능 기법들과의 비교를 통해 방법의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 추가적인 MLP 헤드나 복잡한 아키텍처 없이도 ℓ∞-거리 네트워크가 최고 수준의 인증 강건성을 달성할 수 있는가?
• RQ2 이론적으로 강건성 보장을 가진 ℓ∞-거리 네트워크의 이전 훈련 방법은 왜 높은 인증 정확도를 달성하지 못했는가?
• RQ3 이전 연구에서 사용된 ℓp-완화 기법이 의도하지 않게 네트워크의 Lipschitz 상수를 증가시켜 강건성을 약화시키는가?
• RQ4 교차 엔트로피와 허브 손실을 조합한 단순한 하이브리드 손실 함수가 ℓ∞-거리 네트워크를 효과적으로 훈련시켜 고수준의 인증 정확도를 달성할 수 있는가?
• RQ5 기본적인 인증 방법에서 일반 네트워크에 비해 ℓ∞-거리 네트워크는 인증 강건성 측면에서 본질적인 이점이 있는가?

주요 결과

• 제안된 훈련 방법으로 인해 ℓ∞-거리 네트워크의 인증 정확도가 CIFAR-10(ε=8/255)에서 33.30%에서 40.06%로 상당한 향상이 이루어졌다.
• 새로운 손실 함수는 ℓp-완화로 인한 과도한 Lipschitz 상수 증가 문제를 효과적으로 방지하여, 네트워크의 강건성 정확도 최대화 능력을 복원했다.
• 이론적 분석을 통해 ℓ∞-거리 네트워크가 약간의 데이터셋 가정 하에 완벽한 인증 강건성을 달성할 수 있음을 확인했으며, 이는 강력한 표현 능력을 보여준다.
• 이 방법은 ℓ∞-노름 변형에 대해 새로운 최고 수준의 인증 강건성을 확립했으며, 일반 네트워크 및 이전의 인증 방법을 모두 능가한다.
• ℓ∞-거리 네트워크 아키텍처 자체만으로도 고수준의 인증 정확도를 달성할 수 있으며, 이전 방법에서 사용된 추가적인 MLP 구성 요소가 필요로 하지 않다.