[논문 리뷰] Universal Approximation with Quadratic Deep Networks

Fenglei Fan, Jinjun Xiong외 1명|arXiv (Cornell University)|2018. 07. 31.

Neural Networks and Applications참고 문헌 42인용 수 6

한 줄 요약

이 논문은 이차 깊이 신경망이 기존의 깊이 신경망에 비해 더 뛰어난 표현 효율성, 압축된 아키텍처를 통한 보편적 근사, 그리고 향상된 계산 능력을 달성함을 입증한다. 신경망의 선형 내적을 이차 함수로 대체함으로써, 저자들은 네 가지 정리를 증명하여 이차 네트워크가 더 효율적으로 함수를 근사할 수 있으며, 동일한 너비를 가진 기존 네트워크가 표현할 수 없는 함수를 표현할 수 있고, ReLU 활성화 함수를 통해 정확한 다항식 인수분해를 가능하게 하며, 양자화 설정 하에서 더 적은 파라미터를 요구함을 보여준다.

ABSTRACT

Recently, deep learning has achieved huge successes in many important applications. In our previous studies, we proposed quadratic/second-order neurons and deep quadratic neural networks. In a quadratic neuron, the inner product of a vector of data and the corresponding weights in a conventional neuron is replaced with a quadratic function. The resultant quadratic neuron enjoys an enhanced expressive capability over the conventional neuron. However, how quadratic neurons improve the expressing capability of a deep quadratic network has not been studied up to now, preferably in relation to that of a conventional neural network. Regarding this, we ask four basic questions in this paper: (1) for the one-hidden-layer network structure, is there any function that a quadratic network can approximate much more efficiently than a conventional network? (2) for the same multi-layer network structure, is there any function that can be expressed by a quadratic network but cannot be expressed with conventional neurons in the same structure? (3) Does a quadratic network give a new insight into universal approximation? (4) To approximate the same class of functions with the same error bound, is a quantized quadratic network able to enjoy a lower number of weights than a quantized conventional network? Our main contributions are the four interconnected theorems shedding light upon these four questions and demonstrating the merits of a quadratic network in terms of expressive efficiency, unique capability, compact architecture and computational capacity respectively.

연구 동기 및 목표

• 복잡한 함수를 근사할 때, 이차 깊이 신경망이 기존의 깊이 신경망보다 더 뛰어난 표현 효율성을 제공하는지 조사하기.
• 동일한 아키텍처를 가진 기존 네트워크가 표현할 수 없는 함수를 이차 네트워크가 표현할 수 있는지 확인하기.
• 이차 네트워크가 깊이와 너비를 줄여 보편적 근사를 달성할 수 있는 새로운 길을 제공하는지 탐색하기.
• 동일한 근사 오차를 가지는 경우, 양자화된 이차 네트워크가 양자화된 기존 네트워크보다 더 뛰어난 파라미터 효율성을 달성할 수 있는지 평가하기.

제안 방법

• 기존 신경망의 선형 내적을 입력과 가중치의 이차 함수로 대체하는 이차 뉴런을 제안한다.
• ReLU 활성화 함수를 사용하여 데이터 기반 대수적 인수분해를 통해 다항식 함수의 정확한 표현을 가능하게 한다.
• 표현 능력 비교를 위해 근사 이론 기반 이론적 분석을 개발한다.
• 보편적 근사 정리를 적용하여, 이차 네트워크가 유한한 깊이와 너비로 보편적 근사를 달성할 수 있음을 보여준다.
• 양자화된 이차 네트워크를 사용하여 반경 함수와 다변수 다항식 함수를 근사할 때의 복잡도 한계를 유도한다.
• 모든 계층에서 파라미터를 동시에 학습할 수 있도록 일반화된 역전파 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 일반화된 한 층의 네트워크에서, 이차 네트워크가 기존 네트워크보다 더 효율적으로 근사할 수 있는 함수 클래스가 존재하는가?
• RQ2 동일한 다층 아키텍처에서, 이차 네트워크가 표현할 수 있지만 기존 네트워크가 표현할 수 없는 함수가 존재하는가?
• RQ3 이차 네트워크 프레임워크가 보편적 근사 이론에 새로운 방법론이나 통찰을 제공하는가?
• RQ4 동일한 함수 클래스와 오차 한계에서, 양자화된 이차 네트워크가 양자화된 기존 네트워크보다 더 낮은 파라미터 수를 달성할 수 있는가?

주요 결과

• 첫 번째 정리는 이차 네트워크가 기존 네트워크보다 훨씬 낮은 너비와 깊이 요구 조건으로 특정 함수를 근사할 수 있음을 증명하여, 더 뛰어난 표현 효율성을 보여준다.
• 두 번째 정리는 각 층에 단지 네 개의 뉴런만을 가진 ReLU 이차 네트워크가, 어떤 방향으로나 비상수인 모든 반경 함수를 보편적으로 근사할 수 있음을 보여주며, 동일한 너비 제약 조건 하에서 기존 네트워크가 달성할 수 없는 능력임을 입증한다.
• 세 번째 정리는 임의의 다변수 다항식이 ReLU 활성화 함수를 사용한 이차 네트워크를 통해 정확하게 표현될 수 있음을 보여주며, 조각별 선형 근사에 의존하는 기존 네트워크와 달리 전역적이고 비조각별 근사를 가능하게 한다.
• 네 번째 정리는 양자화된 이차 네트워크의 파라미터 복잡도가 부드러움 매개변수 λ에 독립적이며, 복잡도 한계 𝒪(λ(log¹⁄⁽λ⁻¹⁾⁺¹(1⁄ε))(1⁄ε)ᵈ⁄ⁿ)에 도달함을 보여주며, 이는 λ에 영향을 받지 않고 기존 대비 더 효율적임을 입증한다.
• 각 이차 뉴런이 기존 뉴런보다 파라미터 수가 세 배이지만, 반경 함수 근사나 다변수 다항식 표현의 핵심 케이스에서는 이차 네트워크가 총 파라미터 수가 더 적게 필요하다.
• 결과적으로 이차 네트워크는 매우 유연하다: 조각별 근사를 위해 기존 네트워크로 변형되거나, 전역 대수적 인수분해기로 작동할 수 있으며, 오카무의 면도 원리에 따라 일반화 능력 향상이 가능하다는 것을 암시한다.