[논문 리뷰] A law of robustness for two-layers neural networks

Sébastien Bubeck, Yuanzhi Li외 1명|arXiv (Cornell University)|2020. 09. 30.

Neural Networks and Applications참고 문헌 22인용 수 8

한 줄 요약

이 논문은 일반적인 데이터를 완벽하게 피팅하기 위해 두 층 신경망이 Lipschitz 상수를 $\sqrt{n/k}$ 주위로 가져야 하며, 이는 강건성에 대해 과다 매개변수화가 필요하다는 것을 시사한다—특히 $O(1)$ Lipschitz 연속성을 위해 $k \approx n$ 개의 뉴런이 필요하며, 기본적인 데이터 피팅에는 $k \approx n/d$ 개의 뉴런으로도 충분하다. 저자들은 스펙트럼 노름 상한, 고차원 영역($n \approx d$), 다항 활성화 함수의 경우에 대해 추측의 더 약한 형태를 증명하였으며, 실험을 통해 최대 기울기와 $\sqrt{n/k}$ 사이에 선형 관계가 있음을 보였다.

ABSTRACT

We initiate the study of the inherent tradeoffs between the size of a neural network and its robustness, as measured by its Lipschitz constant. We make a precise conjecture that, for any Lipschitz activation function and for most datasets, any two-layers neural network with $k$ neurons that perfectly fit the data must have its Lipschitz constant larger (up to a constant) than $\sqrt{n/k}$ where $n$ is the number of datapoints. In particular, this conjecture implies that overparametrization is necessary for robustness, since it means that one needs roughly one neuron per datapoint to ensure a $O(1)$-Lipschitz network, while mere data fitting of $d$-dimensional data requires only one neuron per $d$ datapoints. We prove a weaker version of this conjecture when the Lipschitz constant is replaced by an upper bound on it based on the spectral norm of the weight matrix. We also prove the conjecture in the high-dimensional regime $n \approx d$ (which we also refer to as the undercomplete case, since only $k \leq d$ is relevant here). Finally we prove the conjecture for polynomial activation functions of degree $p$ when $n \approx d^p$. We complement these findings with experimental evidence supporting the conjecture.

연구 동기 및 목표

• 신경망 크기와 강건성 사이의 기본적인 상충 관계를 Lipschitz 상수로 측정하여 조사하기.
• 일반적인 데이터에서 훈련된 두 층 ReLU 신경망에서 강건성에 대해 과다 매개변수화가 필수적인지 확인하기.
• 네트워크 크기 $k$, 데이터 크기 $n$, 그리고 달성 가능한 최소 Lipschitz 상수 사이의 관계를 형식화하고 부분적으로 증명하기.
• 강건성이 순수한 데이터 피팅보다 훨씬 더 많은 매개변수를 요구한다는 이론적이고 경험적 증거 제공하기.

제안 방법

• 일반적인 활성화 함수를 갖는 두 층 신경망이 일반적인 데이터를 완벽하게 피팅하면 Lipschitz 상수가 $\Omega(\sqrt{n/k})$ 이상이어야 한다는 추측을 제안하기.
• 가중치 행렬의 스펙트럼 노름을 통해 Lipschitz 상수를 상한으로 제시함으로써 추측의 더 약한 형태를 증명하기.
• 고차원 영역($n \approx d$)에서 측도 집중 및 텐서 분해 기법을 사용하여 추측을 증명하기.
• 다항 활성화 함수의 차수 $p$에 대해 $n \approx d^p$일 때, 마르코프 형제의 부등식과 텐서 노름 하한을 활용하여 추측을 증명하기.
• 배치 정규화와 Adam 최적화를 사용한 ReLU 네트워크의 경험적 훈련을 통해 최대 기울기를 Lipschitz 상수의 대체 측정치로 사용하기.
• 두 가지 실험 수행: (1) $n/k$ 를 변화시켜 $\sqrt{n/k}$ 스케일링을 테스트하고, (2) $k=n$ 대비 $k=10n/d$ 를 비교하여 강건성 대비 크기의 상충 관계를 검증하기.

실험 결과

연구 질문

• RQ1 일반적인 데이터에서 훈련된 두 층 신경망에서 강건성에 대해 과다 매개변수화가 필수적인가?
• RQ2 크기가 $k$인 두 층 신경망이 $n$개의 데이터 포인트를 완벽하게 피팅할 수 있을 때, 달성 가능한 최소 Lipschitz 상수는 무엇인가?
• RQ3 $O(1)$ Lipschitz 연속성을 달성하기 위해 필요한 네트워크 크기는 데이터 크기 $n$과 입력 차원 $d$에 따라 어떻게 스케일링되는가?
• RQ4 다항 활성화 함수나 고차원 설정과 같은 특정 조건 하에서 Lipschitz 상수에 대한 $\sqrt{n/k}$ 하한이 증명될 수 있는가?
• RQ5 ReLU 네트워크의 경험적 훈련이 최대 기울기와 $\sqrt{n/k}$ 사이의 예측된 선형 의존성과 일치하는가?

주요 결과

• 추측에 따르면 강건성은 $k \approx n$ 개의 뉴런을 요구하며, 데이터 피팅만으로는 $k \approx n/d$ 개로 충분하므로, 강건성에 대해 $d$ 배 과다 매개변수화가 필요하다.
• 차수 $p$인 다항 활성화 함수의 경우 $n \approx d^p$일 때 추측이 성립하며, Lipschitz 상수는 $\Omega(\sqrt{n/k})$로 하한이 존재한다.
• 고차원 영역($n \approx d$)에서 추측이 증명되었으며, $O(1)$ Lipschitz 연속성을 위해 $k \approx n$ 개의 뉴런이 필수적임을 보였다.
• 스펙트럼 노름 기반 상한은 추측의 더 약한 형태를 증명하였으며, $n$ 차원에서 질량이 $k$인 랭크- $k$ 행렬이 데이터를 피팅할 때 $\|T\|_{\mathrm{op}} \geq c \frac{\sqrt{nd}}{k}$ 임을 보였다.
• 실험 결과 최대 기울기(=Lipschitz 상수의 대체 측정치)와 $\sqrt{n/k}$ 사이에 선형 추세가 확인되어 추측을 경험적으로 지지하였다.
• $k = n$일 때 최대 기울기는 $\sqrt{d}$가 증가함에 따라 약 일정하게 유지되는 반면, $k = 10n/d$일 때는 기울기가 $\sqrt{d}$와 선형으로 증가함을 확인하여 이론적 상충 관계를 검증하였다.