[논문 리뷰] Memory capacity of neural networks with threshold and ReLU activations

Roman Vershynin|arXiv (Cornell University)|2020. 01. 20.

Neural Networks and Applications참고 문헌 25인용 수 13

한 줄 요약

이 논문은 1988년에 제기된 열린 문제를 해결하여, 연결 수가 K를 초과할 경우 임의의 데이터셋을 기억할 수 있는 일반적인 다층 피드포워드 신경망(임계치 또는 ReLU 활성화 함수를 사용)의 존재를 비확률적 구성 방법을 통해 증명한다. 이 구성은 희소성의 특성을 활용한다. 주요 기여는 하이브리드 아키텍처에 대한 기억 용량의 일반적 증명으로, 기존 시그모이드 및 ReLU 네트워크에 대한 결과를 확장한다.

ABSTRACT

Overwhelming theoretical and empirical evidence shows that mildly overparametrized neural networks -- those with more connections than the size of the training data -- are often able to memorize the training data with $100\%$ accuracy. This was rigorously proved for networks with sigmoid activation functions and, very recently, for ReLU activations. Addressing a 1988 open question of Baum, we prove that this phenomenon holds for general multilayered perceptrons, i.e. neural networks with threshold activation functions, or with any mix of threshold and ReLU activations. Our construction is probabilistic and exploits sparsity.

연구 동기 및 목표

• Baum(1988)가 제기한, 임계치 활성화 함수를 갖는 신경망의 기억 용량에 관한 장기적인 열린 문제를 해결하기 위해.
• 혼합 임계치 및 ReLU 활성화 함수를 갖는 다층 퍼셉트론에서의 기억 용량에 대한 일반적인 이론적 기반을 마련하기 위해.
• 기존의 시그모이드 및 ReLU 활성화 함수를 갖는 네트워크에서의 기억 용량 결과를 임계치 함수와 하이브리드 아키텍처로 확장하기 위해.
• 출력층에 임계치 활성화 함수를 사용할 경우에도, 약간의 과다 매개변수화로 충분히 기억이 가능하다는 것을 보여주는 비확률적 구성 방법을 제공하기 위해.

제안 방법

• 학습 샘플 수를 초과하는 연결 수를 갖는 신경망이 고도의 확률로 데이터를 기억할 수 있음을 보이기 위해 비확률적 구성 방법을 사용한다.
• 기억 용량을 달성하기 위해 필요한 가중치 및 편향 설정의 복잡도를 줄이기 위해 희소성 기법을 적용한다.
• 표준 정규분포의 밀도 함수 꼬리 확률을 유계하는 데 사용되는 밀스 비율의 점근적 분석과 함께, ReLU 및 임계치 함수의 기대값을 유계하기 위해 사용한다.
• 표준 정규분포에서 생성된 랜덤 변수 $\gamma \sim N(0,1)$에 대해 $(\gamma - a)_+$의 모멘트 추정치를 활용하며, $a \to \infty$일 때의 첫 번째 및 두 번째 모멘트에 대한 점근적 전개를 유도한다.
• 스케일된 정규분포 변수에 대한 기대값을 비교하기 위해 안정성 레디언스를 활용하며, 분산 변화에 따른 모멘트의 척도 변화를 보여준다.
• 가우시안 적분의 단조성 성질을 적용하여, 기억 용량 증명의 주요 비확률적 추론를 뒷받침한다.

실험 결과

연구 질문

• RQ1 과다 매개변수화된 경우, 임계치 활성화 함수를 갖는 다층 퍼셉트론은 어떤 유한한 데이터셋도 기억할 수 있는가?
• RQ2 ReLU 네트워크의 기억 용량은 임계치 및 ReLU 활성화 함수를 혼합한 네트워크로도 확장되는가?
• RQ3 크기 K의 데이터셋을 기억하기 위해 필요한 최소한의 과다 매개변수화 수준은 무엇인가?
• RQ4 비확률적 구성 방법은 어떻게 K개의 데이터 포인트에 대해 임의의 레이블을 적합시킬 수 있도록 보장하는가?

주요 결과

• 논문은 연결 수가 K를 초과할 경우, 임계치 또는 ReLU 활성화 함수를 갖는 임의의 다층 피드포워드 신경망이 K개의 데이터 포인트를 기억할 수 있음을 증명한다.
• 밀스 비율의 점근적 전개를 활용하여 표준 정규분포의 정확한 꼬리 확률 유계를 도출하며, 이는 모멘트 추정치의 기초가 된다.
• 큰 $a$에 대해 $(\gamma - a)_+$의 기대값은 점근적으로 $\frac{1}{\sqrt{2\pi}} e^{-a^2/2} (a^{-2} + O(a^{-4}))$이며, 두 번째 모멘트는 $\frac{1}{\sqrt{2\pi}} e^{-a^2/2} (2a^{-3} + O(a^{-5}))$로 점근적으로 표현된다.
• 안정성 레디언스는 ReLU 입력을 $\sqrt{1+z}$로 스케일링할 경우 기대 ReLU 출력이 $\exp\left(\frac{a^2 z}{2(1+z)}\right) (1+z) (1 + O(a^{-2}))$의 요소로 스케일링됨을 보여준다.
• 단조성 레디언스는 $\sigma \mapsto \mathbb{E}[\psi(\sigma \gamma)]$가 비감소 함수 $\psi$에 대해 비감소함을 확인하며, $\psi(t) = 0$ for $t < 0$ 조건을 만족함으로써 비확률적 추론을 뒷받침한다.
• 주요 결과는 Baum의 1988년 열린 문제를 해결하여, 임계치 및 ReLU 활성화 함수를 갖는 일반적인 다층 퍼셉트론의 기억 용량을 확립한다.