[논문 리뷰] On the Universal Approximability and Complexity Bounds of Quantized ReLU Neural Networks

Yukun Ding, Jinglan Liu외 2명|arXiv (Cornell University)|2018. 02. 10.

Machine Learning and Algorithms인용 수 18

한 줄 요약

이 논문은 양자화된 ReLU 신경망에 대한 최초의 이론적 프레임워크를 수립하며, 유한한 가중치 값 집합만을 사용하여도 임의의 정밀도로 보편적인 근사가 가능하다는 것을 증명한다. 이는 양자화된 네트워크가 오차 한계 ε를 달성하기 위해 최대 O(log⁵(1/ε)) 배 더 많은 가중치가 필요하다는 것을 보여주며, 모델 압축 및 가속화에서의 경험적 성공을 설명한다.

ABSTRACT

Compression is a key step to deploy large neural networks on resource-constrained platforms. As a popular compression technique, quantization constrains the number of distinct weight values and thus reducing the number of bits required to represent and store each weight. In this paper, we study the representation power of quantized neural networks. First, we prove the universal approximability of quantized ReLU networks on a wide class of functions. Then we provide upper bounds on the number of weights and the memory size for a given approximation error bound and the bit-width of weights for function-independent and function-dependent structures. Our results reveal that, to attain an approximation error bound of $ε$, the number of weights needed by a quantized network is no more than $\mathcal{O}\left(\log^5(1/ε) ight)$ times that of an unquantized network. This overhead is of much lower order than the lower bound of the number of weights needed for the error bound, supporting the empirical success of various quantization techniques. To the best of our knowledge, this is the first in-depth study on the complexity bounds of quantized neural networks.

연구 동기 및 목표

• 양자화된 ReLU 신경망의 표현 능력에 대한 이론적 기초를 확립하기 위해.
• 주어진 근사 오차와 비트 폭에 대해 네트워크 크기 및 메모리 요구량의 상한을 결정하기 위해.
• 비양자화된 네트워크와 비교할 때 가중치 양자화가 유도하는 과잉을 정량화하기 위해.
• 정밀도가 감소함에도 불구하고 양자화 기법(예: 이진화 포함)이 왜 여전히 효과적인지 설명하기 위해.
• 자원 제약이 있는 플랫폼을 위한 효율적인 양자화 모델 설계를 뒷받침하는 복잡도 한계를 제공하기 위해.

제안 방법

• 유한한 서로 다른 가중치 값 집합을 사용하여 비양자화된 네트워크 유닛을 근사하는 양자화된 서브네트워크를 구성하기 위해.
• 개별 근사에서 잔류 오차가 존재하더라도 종단 간 오차가 ε 이하로 유지되도록 보장하기 위해 새로운 구성 기법을 사용하기 위해.
• 목표 오차 ε와 서로 다른 가중치 값의 수 λ에 기반하여 가중치 수와 메모리 크기의 상한을 유도하기 위해.
• 비양자화된 ReLU 네트워크에 대한 알려진 하한과 유도된 상한을 비교하여 타당성 평가하기 위해.
• ε와 λ에 대한 과잉 요소의 증가율을 분석하여 양자화의 효율성 평가하기 위해.
• 과잉 요소가 비양자화된 네트워크의 하한보다 훨씬 낮은 순서에 속함을 입증하여, 양자화의 효율성을 뒷받침하기 위해.

실험 결과

연구 질문

• RQ1 유한한 수의 서로 다른 가중치 값만을 갖는 양자화된 ReLU 네트워크가 넓은 범위의 함수를 보편적으로 근사할 수 있는가?
• RQ2 주어진 근사 오차 ε를 달성하기 위해 필요한 양자화된 ReLU 네트워크의 가중치 수와 메모리 크기의 상한은 무엇인가?
• RQ3 네트워크 복잡성 측면에서, 양자화의 과잉은 비양자화된 네트워크의 하한과 비교해 어떻게 되는가?
• RQ4 왜 극도로 양자화된 네트워크(예: 이진화된 네트워크)는 실무에서 여전히 잘 작동하는가?
• RQ5 이론적 복잡도 한계는 양자화된 신경망에서 최적의 비트 폭 설정을 안내하는 데 기여할 수 있는가?

주요 결과

• 오직 두 개의 서로 다른 가중치 값만을 사용하는 양자화된 ReLU 네트워크도 임의의 정밀도로 넓은 범위의 함수를 보편적으로 근사할 수 있다.
• 오차 한계 ε를 달성하기 위해 필요한 양자화된 네트워크의 가중치 수는 비양자화된 네트워크의 최대 O(log⁵(1/ε)) 배이다.
• 이 과잉 요소는 비양자화된 네트워크의 하한 Ω(log⁻³(1/ε)(1/ε)ᵈ ⁄ ⁿ)보다 훨씬 낮은 순서에 속하므로 표현 능력 손실가 최소화됨을 시사한다.
• 가중치 수에 대한 상한은 비양자화된 네트워크의 하한과 다항로그 팩터 내에서 근접해 있어 강력한 타당성을 보여준다.
• 최적의 비트 폭은 입력 차원 d에 따라 느리게 증가하므로, 고차원 데이터에 대해서도 낮은 비트 폭으로 충분함을 시사한다.
• 이론적 복잡도 한계는 향후 양자화된 신경망의 하이퍼파rameter 최적화 및 하드웨어 설계를 안내하는 데 활용될 수 있다.