[논문 리뷰] Network size and weights size for memorization with two-layers neural networks

Sébastien Bubeck, Ronen Eldan외 2명|arXiv (Cornell University)|2020. 06. 04.

Neural Networks and Applications참고 문헌 33인용 수 18

한 줄 요약

이 논문은 두 층의 ReLU 네트워크를 위한 새로운 복소수 재조합 방법을 제안하며, ℝ^d 내 n개의 데이터 포인트를 O(n/(dε)) 개의 뉴런과 거의 최적의 총 가중치 Õ(√n)로 근사적으로 기억할 수 있도록 한다. 이는 바움(Baum)과 신경미분핵(NTK) 네트워크의 비최적의 가중치 스케일링에 비해 크게 향상된 결과이다. 이 방법은 조화 분석과 복소수 임bedding을 활용하여, 약간의 데이터 산산이 흩어진 조건 하에서도 효율적이고 저복잡도의 기억을 가능하게 한다.

ABSTRACT

In 1988, Eric B. Baum showed that two-layers neural networks with threshold activation function can perfectly memorize the binary labels of $n$ points in general position in $\mathbb{R}^d$ using only $\ulcorner n/d \urcorner$ neurons. We observe that with ReLU networks, using four times as many neurons one can fit arbitrary real labels. Moreover, for approximate memorization up to error $ε$, the neural tangent kernel can also memorize with only $O\left(\frac{n}{d} \cdot \log(1/ε) ight)$ neurons (assuming that the data is well dispersed too). We show however that these constructions give rise to networks where the magnitude of the neurons' weights are far from optimal. In contrast we propose a new training procedure for ReLU networks, based on complex (as opposed to real) recombination of the neurons, for which we show approximate memorization with both $O\left(\frac{n}{d} \cdot \frac{\log(1/ε)}ε ight)$ neurons, as well as nearly-optimal size of the weights.

연구 동기 및 목표

• 기존의 두 층의 ReLU 네트워크에서 기억을 위한 비최적의 가중치 스케일링 문제를 해결하고자 하며, 특히 고차원 설정에서의 문제를 다룬다.
• 임의의 실수 레이블에 대해 근사적 기억을 달성하기 위한 최소한의 네트워크 크기와 최소한의 총 가중치를 동시에 확보하는 구축법을 개발하고자 한다.
• 뉴런 수는 효율적이지만 가중치 크기의 스케일링이 나쁘게 되는 임계값 기반(바움) 및 커널 기반(NTK) 접근법의 한계를 극복하고자 한다.
• 복소수 뉴런 재조합과 조화 분석을 활용한 새로운 이론적 프레임워크를 수립하여, 거의 최적의 일반화 복잡도를 달성하고자 한다.

제안 방법

• 각 뉴런이 복소수 가중치 벡터 w + iw′로 매개변수화된 복소수 재조합 기반의 조화 네트워크 구축법을 도입한다.
• 실수값 함수를 복소解析 함수 φ(w·x + iw′·x)의 실수부를 통해 표현함으로써, 복소수 임bedding을 통한 다항식 근사가 가능해진다.
• 인덱스 j ∈ {0, ..., m} 에 대한 랜덤화 기법을 사용하여, 형태 Sψ((w + jw′)·x − B)의 ReLU 활성화를 확률적으로 조합한다. 여기서 S ∈ {−1, 1} 이고, B는 컴 pact 지지 집합 함수의 이阶 도함수와 관련된 분포에서 추출된다.
• 근사치를 국소적으로 정의하기 위해 버블 함수 χ_M 를 적용하여, 결과 함수가 ε 오차 이내로 목표 함수를 근사하도록 보장한다.
• 근사 계수들이 복소수 매개변수 z에 대해 연속적으로 의존함을 도출함으로써, 구축의 부드러움과 안정성을 확보한다.
• 내적 제어를 통한 잔차 오차에 맞춰 뉴런을 순차적으로 추가하는 부스팅 스타일의 반복 절차를 활용하여 전체 네트워크를 구축한다.

실험 결과

연구 질문

• RQ1 약간의 데이터 가정 하에 두 층의 ReLU 네트워크가 근사적 기억을 달성할 수 있을까? 특히 근사적으로 최적의 뉴런 수와 근사적으로 최적의 총 가중치를 동시에 확보할 수 있는가?
• RQ2 기억 네트워크의 총 가중치는 n, d, ε 에 대해 어떻게 스케일링되는가? 바움과 NTK 네트워크에서 관찰된 n√n 스케일링을 넘어선 개선이 가능한가?
• RQ3 고차원에서 잘 산산이 흩어진 데이터에 대해 임의의 실수 레이블을 갖는 ReLU 네트워크를 O(n/(dε)) 개의 뉴런과 Õ(√n)의 총 가중치로 구성할 수 있는가?
• RQ4 뉴런의 복소수 재조합이 가중치 복잡도를 줄이면서도 근사 정확도를 유지하는 데 어떤 역할을 하는가?
• RQ5 조화 분석과 복소수 임bedding을 활용하여, 샘플 효율성과 가중치 효율성을 모두 확보하는 ReLU 네트워크에 대한 일반화 가능한 근사 프레임워크를 유도할 수 있는가?

주요 결과

• 제안된 조화 네트워크는 k = Õ(n/(dε)) 개의 뉴런과 총 가중치 W(f) = Õ(√n)로 근사적 기억을 달성하며, 이는 Ω̃(√n)이 랜덤 데이터에 대한 하한임을 감안할 때 거의 최적이다.
• 조화 네트워크는 바움 네트워크와 NTK 네트워크보다 총 가중치 측면에서 뛰어나며, 양자 모두 랜덤 데이터에서 Ω(n√n)의 가중치를 요구하므로 매우 비효율적임을 확인하였다.
• 쌍방향 내적 값이 Õ(1/√d) 이하인 단위 구면 상의 데이터 포인트에 대해, 조화 네트워크는 평균 제곱 오차가 ε 이내가 되도록 보장하며, 높은 확률로 성립한다.
• 이 방법은 Re(w·x + iw′·x)를 통한 함수의 연속적 복소수 표현에 기반하며, 이는 랜덤화된 재조합을 통한 ReLU 활성화를 통한 다항식 근사를 가능하게 한다.
• 이 구축법은 약간의 데이터 산산이 흩어진 조건 하에서도 강건하며, 내적 값의 유계성 이외에 강력한 분포 가정이 필요하지 않다.
• 이론적 분석을 통해 조화 네트워크의 가중치 스케일링이 로그 인자 외에는 최적이며, 랜덤 레이블 설정 하에서 총 가중치에 대해 √n 이 하한임을 확인하였다.