[논문 리뷰] Approximation of functions with one-bit neural networks

C. Si̇nan Güntürk, Weilin Li|arXiv (Cornell University)|2021. 12. 16.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 단일 비트 신경망—즉, ±1 또는 ±1/2의 가중치만을 사용하는—모델이 단위 입방체 위의 임의의 호일러-스무쓰 함수를 오차 ε 이내로 근사할 수 있으며, 이 경우 이차 신경망의 경우 O(ε^{-2d/s})개의 매개변수 또는 ReLU 신경망의 경우 O(ε^{-2d/s} log(1/ε))개의 매개변수를 필요로 한다고 규명한다. 주요 기여는 베르슈타인 다항식과 노이즈-형상 양자화를 활용한 새로운 구성 방법으로, 이는 양자화된 네트워크에 대해 최적의 근사 속도를 증명한다.

ABSTRACT

The celebrated universal approximation theorems for neural networks roughly state that any reasonable function can be arbitrarily well-approximated by a network whose parameters are appropriately chosen real numbers. This paper examines the approximation capabilities of one-bit neural networks -- those whose nonzero parameters are $\pm a$ for some fixed $a ot=0$. One of our main theorems shows that for any $f\in C^s([0,1]^d)$ with $\|f\|_\infty<1$ and error $\varepsilon$, there is a $f_{NN}$ such that $|f(\boldsymbol{x})-f_{NN}(\boldsymbol{x})|\leq \varepsilon$ for all $\boldsymbol{x}$ away from the boundary of $[0,1]^d$, and $f_{NN}$ is either implementable by a $\{\pm 1\}$ quadratic network with $O(\varepsilon^{-2d/s})$ parameters or a $\{\pm \frac 1 2 \}$ ReLU network with $O(\varepsilon^{-2d/s}\log (1/\varepsilon))$ parameters, as $\varepsilon o0$. We establish new approximation results for iterated multivariate Bernstein operators, error estimates for noise-shaping quantization on the Bernstein basis, and novel implementation of the Bernstein polynomials by one-bit quadratic and ReLU neural networks.

연구 동기 및 목표

• 가중치가 작은 유한 집합으로 제한된 신경망의 근사 능력을 조사하는 것, 특히 일비트 가중치(고정된 a ≠ 0에 대해 ±a)의 극한 케이스를 대상으로 하는 것.
• 단위입방체 [0,1]^d 위의 C^s([0,1]^d) 함수를 오차 ε 이내로 근사하기 위해 필요한 최소 네트워크 크기(매개변수 수)를 결정하는 것.
• 일비트 신경망을 사용하여 다변수 베르슈타인 다항식을 효율적으로 구현하는 새로운 방법을 개발하는 것.
• 베르슈타인 기저에 대한 노이즈-형상 양자화의 이론적 오차 한계를 설정하여 근사 이론과 양자화된 신경망 설계를 연결하는 것.

제안 방법

• ReLU 및 이차 활성화 함수를 사용하여 다변수 베르슈타인 기저 다항식의 일비트 신경망 구현을 구성한다.
• 베르슈타인 다항식의 계수를 ±1 또는 ±1/2로 양자화할 때 근사 오차를 제어하기 위해 노이즈-형상 양자화 전략을 적용한다.
• 오차 한계를 텔레스코프 급수를 통해 유도하기 위해, 근사 곱셈 및 합산 레이어를 사용하는 재귀적 네트워크 아키텍처를 활용한다.
• d차원 텐서 곱 구조를 적용하며, 각 차원은 동일한 하위네트워크를 사용해 병렬 처리한 후 근사 곱 네트워크를 통해 통합한다.
• 최종적으로, 이차 네트워크의 경우 O(ε^{-2d/s})개의 매개변수, ReLU 네트워크의 경우 O(ε^{-2d/s} log(1/ε))개의 매개변수를 가지며, 경계 근처를 제외한 영역에서 균일 오차 ≤ ε을 달성한다.
• 각 레이어가 파스칼 삼각형의 한 행(베르슈타인 계수)을 계산하는 계층적 구성 방식을 사용하며, δ-근사 곱셈 네트워크를 통해 오차를 통제한다.

실험 결과

연구 질문

• RQ1 일비트 신경망(가중치가 ±1 또는 ±1/2로 제한된 경우)은 [0,1]^d 위의 임의의 부드러운 함수를 주어진 오차 ε 이내로 근사할 수 있는가?
• RQ2 이러한 근사에 필요한 최소 매개변수 수는 얼마이며, 이는 부드러움의 정도 s와 차원 d에 따라 어떻게 변화하는가?
• RQ3 고전적인 베르슈타인 다항식 근사법은 일비트 신경망을 통해 효율적으로 구현할 수 있는가?
• RQ4 계수를 유한 알파벳으로 양자화할 때 노이즈-형상 양자화가 근사 오차에 어떤 영향을 미치는가?

주요 결과

• 모든 f ∈ C^s([0,1]^d)에 대해 ||f||_∞ < 1 이고 오차 ε > 0 이면, O(ε^{-2d/s} log(1/ε))개의 매개변수를 가진 일비트 ReLU 네트워크가 경계 근처를 제외한 영역에서 f를 균일하게 ε 이내로 근사할 수 있다.
• O(ε^{-2d/s})개의 매개변수를 가진 일비트 이차 네트워크도 동일한 근사 오차를 달성할 수 있으며, 이는 활성화 함수 유형과 매개변수 수 사이의 상충 관계를 보여준다.
• 구성된 네트워크의 근사 오차는 ε 이하로 제한되며, 이 제한은 [0,1]^d의 경계에서 벗어난 컴act 부분집합에서 균일하게 유지된다.
• 이 방법은 가중치가 유계인 신경망에 대해 근사 속도 O(ε^{-2d/s})를 최적화하며, 알려진 이론적 한계와 일치한다.
• 이 구성은 일비트 ReLU 및 이차 네트워크를 사용한 다변수 베르슈타인 다항식의 새로운 구현에 기반하며, 노이즈-형상 양자화를 통해 오차를 통제한다.
• 차수 n의 근사에 대해, 레이어 수는 O(n log(n/ε))로 증가하고, 노드 수는 O(n² log(n/ε) + n^d log(1/ε))로 증가하며, 이때 n ~ ε^{-s/(2d)}이다.