[논문 리뷰] Universal Lipschitz Approximation in Bounded Depth Neural Networks

Jérémy E. Cohen, Todd Huster외 1명|arXiv (Cornell University)|2019. 04. 09.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 11

한 줄 요약

이 논문은 FullSort 활성화 함수를 사용하는 3층 신경망이 유계 깊이를 가진 임의의 리프시츠 함수를 근사할 수 있는 유니버설 리프시츠 근사기(ULAs)임을 증명한다. 이 방법은 이미지 분류에서 인증 가능한 강건성을 제공하며, 리프시츠 상수를 엄밀하게 유지함으로써 ReLU 및 SDP 네트워크보다 MNIST 및 2차원 나선 데이터셋에서 더 뛰어난 경험적 강건성을 확보한다.

ABSTRACT

Adversarial attacks against machine learning models are a rather hefty obstacle to our increasing reliance on these models. Due to this, provably robust (certified) machine learning models are a major topic of interest. Lipschitz continuous models present a promising approach to solving this problem. By leveraging the expressive power of a variant of neural networks which maintain low Lipschitz constants, we prove that three layer neural networks using the FullSort activation function are Universal Lipschitz function Approximators (ULAs). This both explains experimental results and paves the way for the creation of better certified models going forward. We conclude by presenting experimental results that suggest that ULAs are a not just a novelty, but a competitive approach to providing certified classifiers, using these results to motivate several potential topics of further research.

연구 동기 및 목표

• 딥 러닝에서 리프시츠 연속성을 활용한 인증 가능한 강건성에 대한 이론적 기반을 구축하기 위해.
• 기존의 경험적 훈련에 의존하고 쉽게 무너지는 악성 예측 방어의 한계를 해결하기 위해.
• 특정 활성화 함수를 가진 유계 깊이의 신경망이 리프시츠 함수를 유니버설하게 근사할 수 있음을 보여주기 위해.
• 정렬 기반 활성화 함수를 활용해 인증 가능한 강건 모델의 실용성과 성능을 향상시키기 위해.
• 새로운 활성화 함수를 가진 리프시츠 유계 네트워크의 최적화 및 일반화 과제를 탐색하기 위해.

제안 방법

• 전방향 3층 네트워크에 FullSort 활성화 함수를 사용하여 전역 리프시츠 연속성을 강제한다.
• 3층 FullSort 네트워크가 컴act 도메인 상에서 임의의 리프시츠 함수를 근사할 수 있음을 증명하며, 이를 유니버설 리프시츠 근사기(ULAs)로 정의한다.
• 낮은 리프시츠 상수를 유지하면서도 높은 표현 능력을 확보할 수 있도록 변형된 정렬 연산을 적용한다.
• 외부 다면체 방법과 랜덤화 스무딩을 사용하여 $L_∞$ 및 $L_2$ 변형 하에서 인증 가능한 강건성 범위를 계산한다.
• 세밀한 격자 기반 기울기 샘플링을 사용해 경험적 리프시츠 상수를 측정함으로써 2차원 나선 및 MNIST 데이터셋에서 성능을 경험적으로 평가한다.
• GroupSort 네트워크를 ReLU, SDP, LMT 기반 모델과 비교하여 강건성과 정확도의 상호 교환 관계를 검증한다.

실험 결과

연구 질문

• RQ1 FullSort 활성화 함수를 가진 3층 신경망이 $L_\infty$ 노름 하에서 임의의 리프시츠 함수를 유니버설하게 근사할 수 있는가?
• RQ2 GroupSort 기반 네트워크는 ReLU 및 SDP 네트워크와 비교해 인증 가능한 강건성과 경험적 정확도 측면에서 어떻게 다른가?
• RQ3 이론적으로 깊이가 유리한데도 불구하고, MNIST에서 두 번째 층의 GroupSort 네트워크가 더 깊은 아키텍처보다 $L_\infty$ 강건성에서 뛰어난 이유는 무엇인가?
• RQ4 정렬 기반 활성화 함수를 가진 리프시츠 유계 네트워크를 훈련할 때의 주요 아키텍처 및 최적화 과제는 무엇인가?
• RQ5 $L_2$ 또는 일반적인 $L_p$ 노름 하에서 $\mathbb{R}^n$ 에서 $\mathbb{R}^m$ 으로의 사상에 대해 ULA가 존재하는가?

주요 결과

• 3층 FullSort 네트워크는 컴act 도메인 상에서 임의의 $1$-리프시츠 함수를 근사할 수 있음을 증명하며, 이를 유니버설 리프시츠 근사기(ULAs)로 간주한다.
• 2차원 나선 데이터셋에서 3층 GroupSort-10 네트워크는 리프시츠 상수 비율 1.20을 달성하였으며, 이는 ReLU(3.17) 및 SDP(2.24)보다 뚜렷이 뛰어나다.
• MNIST에서 두 번째 층 GroupSort-10 네트워크는 $L_\infty$ 인증 가능한 강건성 범위가 가장 강력하여 ReLU 및 SDP 기반 모델을 초월한다.
• $L_2$ 변형 하에서는 네 층의 OPLU 네트워크가 다른 방법보다 뛰어나며, 이는 깊이가 이 노름 하에서 강건성을 향상시킴을 시사한다.
• 강력한 이론적 보장에도 불구하고 최적화의 어려움으로 인해 더 깊은 네트워크에서 성능 향상이 제한되며, 실험 전반에서 과적합 현상은 관찰되지 않았다.
• 결과적으로, 일반화가 아니라 최적화의 불안정성이 리프시츠 유계 네트워크를 두 번째 층을 초월해 확장하는 데 있어 주요 장애물임을 시사한다.