[논문 리뷰] Rethinking Lipschitz Neural Networks and Certified Robustness: A Boolean Function Perspective

Bohang Zhang, Jiang Du외 2명|arXiv (Cornell University)|2022. 10. 04.

Adversarial Robustness in Machine Learning인용 수 12

한 줄 요약

이 논문은 순서 통계를 활용하여 $Â𝕃_{∞}$ 노이즈에서 최고 수준의 인증된 $ε$-내성 성능를 달성하는 통합 리프시츠 신경망 아키텍처인 SortNet을 소개한다. 부울 함수 표현을 분석함으로써 기존 리프시츠 네트워크의 근본적 한계를 규명하고, MNIST, CIFAR-10, Tiny ImageNet, ImageNet에서 이전 방법보다 더 높은 인증 정확도를 달성함을 보여준다. 이는 훈련 에포크 수를 줄였음에도 불구하고 성립한다.

ABSTRACT

Designing neural networks with bounded Lipschitz constant is a promising way to obtain certifiably robust classifiers against adversarial examples. However, the relevant progress for the important $\ell_\infty$ perturbation setting is rather limited, and a principled understanding of how to design expressive $\ell_\infty$ Lipschitz networks is still lacking. In this paper, we bridge the gap by studying certified $\ell_\infty$ robustness from a novel perspective of representing Boolean functions. We derive two fundamental impossibility results that hold for any standard Lipschitz network: one for robust classification on finite datasets, and the other for Lipschitz function approximation. These results identify that networks built upon norm-bounded affine layers and Lipschitz activations intrinsically lose expressive power even in the two-dimensional case, and shed light on how recently proposed Lipschitz networks (e.g., GroupSort and $\ell_\infty$-distance nets) bypass these impossibilities by leveraging order statistic functions. Finally, based on these insights, we develop a unified Lipschitz network that generalizes prior works, and design a practical version that can be efficiently trained (making certified robust training free). Extensive experiments show that our approach is scalable, efficient, and consistently yields better certified robustness across multiple datasets and perturbation radii than prior Lipschitz networks. Our code is available at https://github.com/zbh2047/SortNet.

연구 동기 및 목표

• 기본 리프시츠 네트워크가 부울 함수와 순서 통계에 대해 인증된 $Â𝕃_{∞}$ 내성 성능를 달성하는 데 내재된 한계를 규명하는 것.
• 최근 아키텍처인 $Â𝕃_{∞}$-거리 넷이 기존 리프시츠 네트워크(예: GroupSort, MaxMin)보다 뛰어난 성능을 보이는 이유를 설명하는 것.
• 이전 연구를 일반화하고, 표현력이 뛰어나며 효율적으로 훈련 가능한 통합 리프시츠 네트워크 아키텍처를 개발하는 것.
• 기본 리프시츠 네트워크가 순서 통계와 대칭 부울 함수를 근사하는 데 있어 이론적으로 불가능한 결과를 설정하는 것.

제안 방법

• 대칭 부울 함수(SBF)와 순서 통계의 관점에서 인증된 $Â𝕃_{∞}$ 내성 성능를 분석한다.
• 모든 표준 리프시츠 네트워크가 노름 유계 아핀 레이어와 리프시츠 활성화 함수를 갖는 한, 유한 데이터셋에서 대칭 부울 함수에 대해 비영인 내성 반경을 확보할 수 없으며, 내성 반경이 $\mathcal{O}(1/d)$ 비율로 감소함을 증명한다.
• 순서 통계의 근사 오차에 하한을 설정한다: 깊이 또는 너비에 관계없이 어떤 표준 리프시츠 네트워크도 $d$-차원 순서 통계를 $\mathcal{O}(1 - 1/d)$ 오차 이내로 근사할 수 없다.
• SortNet을 도입한다. 이는 전체 정렬 연산을 포함하여 GroupSort와 $Â𝕃_{∞}$-거리 넷을 일반화하며, 순서 통계와 부울 함수의 정확한 표현을 가능하게 한다.
• 다양한 정렬 기반 훈련과 기울기 기반 최적화를 활용한 실용적 SortNet 변형을 설계하여, 추가 최적화 기법 없이도 효율적인 인증 내성 훈련을 가능하게 한다.
• MNIST, CIFAR-10, Tiny ImageNet, ImageNet에서 광범위한 실험을 통해 여러 노이즈 반경에서 인증 정확도와 정상 정확도를 비교함으로써 방법을 검증한다.

실험 결과

연구 질문

• RQ1 왜 제한된 리프시츠 상수를 가진 표준 리프시츠 네트워크가 유한 데이터셋에서 강력한 인증된 $Â𝕃_{∞}$ 내성 성능를 달성하지 못하는가?
• RQ2 표준 리프시츠 아키텍처로 대칭 부울 함수와 순서 통계를 표현하는 데 내재된 근본적 한계는 무엇인가?
• RQ3 고도로 발전한 아키텍처인 $Â𝕃_{∞}$-거리 넷과 GroupSort는 이러한 한계를 어떻게 우회하는가?
• RQ4 이전 연구를 일반화하고, 인증 내성 성능를 보장하며 효율적이고 확장 가능한 훈련이 가능한 통합 리프시츠 네트워크 아키텍처를 설계할 수 있는가?
• RQ5 MaxMin 네트워크가 순서 통계와 부울 함수를 표현하기 위해 최소 몇 층이 필요한가?

주요 결과

• 모든 표준 리프시츠 네트워크는 유한 데이터셋에서 대칭 부울 함수에 대해 비영인 인증된 $Â𝕃_{∞}$ 내성 반경을 확보할 수 없으며, 내성 반경은 $\mathcal{O}(1/d)$ 비율로 감소한다.
• 깊이 또는 너비에 관계없이 어떤 표준 리프시츠 네트워크도 $d$-차원 순서 통계를 $\mathcal{O}(1 - 1/d)$ 오차 이내로 근사할 수 없으며, 이는 근사 이론 분야의 열린 문제를 해결한다.
• $Â𝕃_{∞}$-거리 넷은 MNIST($\mathbf{98.14\%}$, $\epsilon=0.1$ 시 중앙값)과 CIFAR-10($\mathbf{56.67\%}$, $\epsilon=2/255$)에서 최고 수준의 인증 정확도를 달성하여 이전 방법을 초월한다.
• SortNet은 단지 1800 에포크만으로도 CIFAR-10에서 $\mathbf{56.05\%}$의 인증 정확도를 달성하였으며, 특수한 훈련 기법을 사용하지 않았음에도 불구하고 [74]에서 보고한 이전 최고 성능인 $54.12\%$를 초월한다.
• ImageNet $64\times64$에서 SortNet+MLP는 $\mathbf{9.54\%}$의 인증 정확도를 $\epsilon=1/255$에서 확보하여 대규모 데이터셋으로의 확장성을 입증한다.
• 실용적 SortNet 변형은 추가 기법 없이도 인증 내성 훈련을 가능하게 하여 모든 데이터셋과 노이즈 반경에서 일관된 성능 향상을 달성한다.