[논문 리뷰] Towards Certifying L-infinity Robustness using Neural Networks with L-inf-dist Neurons

Bohang Zhang, Tianle Cai외 3명|arXiv (Cornell University)|2021. 02. 10.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 ℓ∞-거리 기반 핵심 연산을 사용하는 새로운 신경망 단위인 ℓ∞-dist 뉴런을 소개한다. 이는 ℓ∞-노름에 대해 1-립시츠 연속성을 보장하며, 예측 마진을 통한 직접적인 정당화를 가능하게 한다. 결과적으로 ℓ∞-dist 넷은 최신 기준 정확도를 달성한다: MNIST(ε=0.3)에서 93.09%, CIFAR-10(ε=8/255)에서 35.42%, TinyImageNet(ε=1/255)에서 16.31%이며, 학습 및 검증 속도는 표준 네트워크와 유사하다.

ABSTRACT

It is well-known that standard neural networks, even with a high classification accuracy, are vulnerable to small $\\ell_\\infty$-norm bounded adversarial perturbations. Although many attempts have been made, most previous works either can only provide empirical verification of the defense to a particular attack method, or can only develop a certified guarantee of the model robustness in limited scenarios. In this paper, we seek for a new approach to develop a theoretically principled neural network that inherently resists $\\ell_\\infty$ perturbations. In particular, we design a novel neuron that uses $\\ell_\\infty$-distance as its basic operation (which we call $\\ell_\\infty$-dist neuron), and show that any neural network constructed with $\\ell_\\infty$-dist neurons (called $\\ell_{\\infty}$-dist net) is naturally a 1-Lipschitz function with respect to $\\ell_\\infty$-norm. This directly provides a rigorous guarantee of the certified robustness based on the margin of prediction outputs. We then prove that such networks have enough expressive power to approximate any 1-Lipschitz function with robust generalization guarantee. We further provide a holistic training strategy that can greatly alleviate optimization difficulties. Experimental results show that using $\\ell_{\\infty}$-dist nets as basic building blocks, we consistently achieve state-of-the-art performance on commonly used datasets: 93.09% certified accuracy on MNIST ($\\epsilon=0.3$), 35.42% on CIFAR-10 ($\\epsilon=8/255$) and 16.31% on TinyImageNet ($\\epsilon=1/255$).

연구 동기 및 목표

• ℓ∞-노름으로 제한된 적대적 편향에 대해 본질적으로 강건한 신경망 아키텍처를 개발하기 위해.
• 실험적 공격 평가에 의존하지 않고, 예측 마진 기반 이론적 근거에 기반한 정당화된 강건성 보장을 제공하기 위해.
• ℓ∞-dist 넷 학습 시 발생하는 최적화 과제를 종합적인 학습 전략을 통해 해결하기 위해.
• ℓ∞-dist 넷이 임의의 1-립시츠 함수를 근사할 수 있고, 강건하게 일반화될 수 있음을 보여주기 위해.

제안 방법

• 입력 특징과 학습 가능한 파라미터 사이의 ℓ∞-거리 계산을 선형 변환 대신 사용하는 새로운 뉴런 유형인 ℓ∞-dist 뉴런을 설계한다.
• ℓ∞-dist 뉴런으로 구성된 임의의 신경망이 ℓ∞-노름에 대해 1-립시츠 연속임을 증명하며, 이는 마진 기반 보장을 통한 직접적인 정당화된 강건성을 가능하게 한다.
• 립시츠-유니버설 근사 정리(정리)를 제안하여, ℓ∞-dist 넷이 임의의 1-립시츠 함수를 임의로 잘 근사할 수 있음을 보여준다.
• 희소 기울기와 최적화 불안정성 문제를 해결하기 위해, 신뢰성 있는 초기화, ℓp-노름 가중치 감소, 정규화, 스무딩된 기울기 근사 기법을 포함하는 종합적인 학습 전략을 제안한다.
• ℓ∞-dist 넷을 강건한 특징 추출기로 사용하고, 표준 MLP 헤드와 조합하여 엔드 투 엔드 학습과 빠른 정당화를 가능하게 한다.
• ℓ∞-노름의 비가역성 문제를 완화하기 위해 스무딩된 기울기 근사를 사용하여 안정적인 역전파를 가능하게 한다.

실험 결과

연구 질문

• RQ1 ℓ∞-거리 연산을 기반으로 한 신경망 아키텍처가 ℓ∞-노름 하에서 본질적으로 1-립시츠 연속성을 확보할 수 있는가? 이는 이론적 강건성 정당화를 가능하게 하는가?
• RQ2 ℓ∞-dist 넷의 표현 능력은 1-립시츠 함수를 얼마나 잘 근사할 수 있으며, 강건하게 일반화될 수 있는가?
• RQ3 희소 기울기 및 불안정한 학습과 같은 최적화 과제는 ℓ∞-dist 넷에서 어떻게 효과적으로 해결될 수 있는가?
• RQ4 ℓ∞-dist 넷은 MNIST, CIFAR-10, TinyImageNet와 같은 표준 벤치마크에서 최신 기준 강건성 성능을 달성할 수 있는가?
• RQ5 제안된 학습 전략은 기존의 정당화된 강건한 학습 방법에 비해 효율성과 성능 면에서 어떻게 비교되는가?

주요 결과

• ℓ∞-dist 넷은 ε=0.3일 때 MNIST에서 93.09%의 정확도를 달성하여, IBP 및 CROWN-IBP를 포함한 이전 방법들을 초월한다.
• ε=8/255일 때 CIFAR-10에서 35.42%의 정확도를 기록하여, 이전 최고 기록보다 6.23% 높고 IBP보다 2.04% 높다.
• ε=1/255일 때 TinyImageNet에서 16.31%의 정확도를 달성했으며, FLOPs가 5.22G에 이르는 훨씬 큰 모델보다도 뛰어난 성능을 보였다. (모델 FLOPs: 156M)
• 단일 NVIDIA A100에서 ℓ∞-dist 넷의 에포크당 학습 시간은 20초 미만이며, CROWN-IBP(112.4초)보다 훨씬 빠르고 IBP와 유사하다.
• 제거 실험 결과, 스무딩된 기울기 근사와 신뢰성 있는 초기화가 모두 필수적임을 확인했으며, 기울기 근사만 사용할 경우 32.56%의 정확도를 기록했고, 초기화와 함께 사용할 경우 35.02%에 도달했다.
• 기존의 ℓ2 가중치 감소는 성능을 저하시키며, ℓp-노름 가중치 감소(p=1 또는 2)는 약간의 향상을 보여, 아키텍처에 특화된 정규화 전략의 필요성을 시사한다.