[논문 리뷰] On the Universal Approximability of Quantized ReLU Neural Networks.

Yukun Ding, Jinglan Liu외 1명|arXiv (Cornell University)|2018. 02. 10.

Advanced Neural Network Applications참고 문헌 15인용 수 6

한 줄 요약

이 논문은 양자화된 ReLU 신경망의 보편적 근사 가능성(universal approximability)을 확립하며, 주어진 오차 한계 내에서 어떤 연속 함수라도 근사할 수 있음을 증명한다. 또한 함수에 독립적이고 함수에 종속적인 네트워크 구조에 대해 approximation 오차와 가중치 비트 폭(bit-width)에 기반한 저장 크기 이론적 상한선을 도출하며, 양자화된 네트워크에 대해 처음으로 이러한 분석을 수행한다.

ABSTRACT

Compression is a key step to deploy large neural networks on resource-constrained platforms. As a popular compression technique, quantization constrains the number of distinct weight values and thus reducing the number of bits required to represent and store each weight. In this paper, we study the representation power of quantized neural networks. First, we prove the universal approximability of quantized ReLU networks. Then we provide upper bounds of storage size given the approximation error bound and the bit-width of weights for function-independent and function-dependent structures. To the best of the authors' knowledge, this is the first work on the universal approximability as well as the associated storage size bound of quantized neural networks.

연구 동기 및 목표

• 양자화된 ReLU 신경망이 연속 함수를 보편적으로 근사할 수 있는지 조사하기.
• 목표 근사 오차를 달성하기 위해 필요한 저장 크기의 이론적 상한선을 도출하기.
• 함수에 독립적이고 함수에 종속적인 두 설정에서의 저장 효율성 분석하기.
• 자원 제약 조건에서의 표현 능력과 메모리 사용에 있어 양자화된 신경망에 대한 기본 이론적 보장을 수립하기.

제안 방법

• 가중치 양자화 하에서의 함수 근사 이론적 분석을 통해 양자화된 ReLU 네트워크의 보편적 근사 가능성 증명.
• 근사 오차를 가중치 비트 폭과 네트워크 구조와 연결하여 저장 크기의 상한선 도출.
• 함수에 독립적 및 함수에 종속적인 양자화 구조를 구분하여 각각의 저장 효율성 분석.
• ReLU 활성화 함수와 양자화된 가중치 공간의 수학적 분석을 통해 표현 능력의 이론적 한계 수립.
• 양자화된 네트워크에서 근사 오차, 비트 폭, 저장 크기 간의 상호 관계를 공식화.

실험 결과

연구 질문

• RQ1 양자화된 ReLU 신경망은 어떤 연속 함수라도 보편적으로 근사할 수 있는가?
• RQ2 양자화된 ReLU 네트워크에서 주어진 근사 오차를 달성하기 위해 필요한 저장 크기의 상한선은 무엇인가?
• RQ3 함수에 독립적과 함수에 종속적인 양자화 구조 중 어느 것이 저장 효율성에 더 유리한가?
• RQ4 양자화된 네트워크에서 가중치의 비트 폭과 근사 정확도 사이의 이론적 관계는 무엇인가?

주요 결과

• 양자화된 ReLU 네트워크는 보편적 근사 가능하며, 이는 임의의 정밀도로 어떤 연속 함수라도 근사할 수 있음을 의미한다.
• 논문은 근사 오차의 제곱의 역수와 가중치 비트 폭에 비례하는 저장 크기의 상한선을 확립한다.
• 동일한 오차 제약 조건 하에서 함수에 종속적인 양자화 구조가 함수에 독립적인 것보다 더 높은 저장 효율성을 달성한다.
• 이론적 상한선은 자원 제약 조건에서 작고 정확한 양자화된 신경망 설계를 위한 체계적인 기반을 제공한다.