[논문 리뷰] High-Order Approximation Rates for Shallow Neural Networks with Cosine and ReLU$^k$ Activation Functions

Jonathan W. Siegel, Jinchao Xu|arXiv (Cornell University)|2020. 12. 14.

Machine Learning and ELM인용 수 4

한 줄 요약

이 논문은 코사인 및 ReLU$^k$ 활성화 함수를 사용하는 얕은 신경망에 대해 최적의 고차수 근사율을 확립한다. ReLU$^k$ 네트워크가 차원 $d$에 관계없이 $L^2$ 근사율 $O(n^{-(k+1)}\log n)$을 달성함을 증명하며, 이는 차원 증가에 따라 부드러움 또는 다항식 차수를 증가시켜야 하는 전통적 방법보다 향상된 결과이다. 결과는 부드러움 인덱스 $s$를 가진 스펙트럼 바론 공간에 속하는 함수에 대해 성립하며, 일치하는 하한값을 통한 분석을 통해 근사율이 최적임을 입증한다.

ABSTRACT

We study the approximation properties of shallow neural networks with an activation function which is a power of the rectified linear unit. Specifically, we consider the dependence of the approximation rate on the dimension and the smoothness in the spectral Barron space of the underlying function $f$ to be approximated. We show that as the smoothness index $s$ of $f$ increases, shallow neural networks with ReLU$^k$ activation function obtain an improved approximation rate up to a best possible rate of $O(n^{-(k+1)}\log(n))$ in $L^2$, independent of the dimension $d$. The significance of this result is that the activation function ReLU$^k$ is fixed independent of the dimension, while for classical methods the degree of polynomial approximation or the smoothness of the wavelets used would have to increase in order to take advantage of the dimension dependent smoothness of $f$. In addition, we derive improved approximation rates for shallow neural networks with cosine activation function on the spectral Barron space. Finally, we prove lower bounds showing that the approximation rates attained are optimal under the given assumptions.

연구 동기 및 목표

• 스펙트럼 바론 공간에 속하는 함수에 대해 ReLU$^k$ 및 코사인 활성화 함수를 갖는 얕은 신경망의 근사 능력을 분석하는 것.
• 목표 함수 $f$의 부드러움 $s$가 증가함에 따라 근사율이 어떻게 향상되는지 정량화하는 것.
• ReLU$^k$ 네트워크에 대해 차원에 독립적인 근사율을 확립하여, 차원 증가에 따라 부드러움 또는 차수를 증가시켜야 하는 전통적 방법의 한계를 극복하는 것.
• 유사한 하한값을 유도하여 확보된 근사율의 최적성을 입증하는 것.

제안 방법

• 분석은 스펙트럼 바론 공간 $\mathcal{B}^s(\Omega)$에서 수행되며, 이는 부드러움 인덱스 $s$에 의해 제어되는 푸리에 도메인에서의 감쇠를 특징으로 한다.
• ReLU$^k$ 네트워크의 경우, 근사자들을 릿지 함수 $\sigma(\omega_i \cdot x + b_i)$의 선형 조합으로 구성하며, $\sigma(x) = [\max(0,x)]^k$이다.
• 증명은 푸리에 분석, 커버링 추론, 엔트로피 추정치의 조합을 사용하여 주어진 오차 이내에서 함수를 근사하기 위해 필요한 고유한 네트워크 구성 수를 제한한다.
• 하한값은 문제를 일변도 경우로 축소하고, 해석 함수의 조각다항식 근사에 대해 알려진 결과를 활용하여 도출된다.
• 코사인 활성화에 대한 논의는 유사한 엔트로피 및 커버링 기법을 사용하며, 푸리에 계수와 주파수를 변형하여 구별 가능한 함수의 집합을 구성한다.
• 엔트로피와 커버링 수를 기반으로 한 모순 추론을 사용하여 최적성 증명을 하며, 주어진 가정 하에 더 빠른 수렴 속도는 불가능함을 보여준다.

실험 결과

연구 질문

• RQ1 ReLU$^k$ 활성화 함수를 갖는 얕은 신경망은 목표 함수의 부드러움 $s$가 증가함에 따라 차원 $d$에 관계없이 근사율을 향상시킬 수 있는가?
• RQ2 스펙트럼 바론 공간 $\mathcal{B}^s(\Omega)$에 속하는 함수에 대해 얕은 ReLU$^k$ 네트워크가 $L^2$에서 달성할 수 있는 최고의 근사율은 무엇인가?
• RQ3 동일한 부드러움 조건 하에서 코사인 활성화 네트워크의 근사율은 ReLU$^k$ 네트워크의 근사율과 어떻게 비교되는가?
• RQ4 유도된 근사율은 최적인가, 아니면 다른 구성 방식으로 향상시킬 수 있는가?

주요 결과

• 얕은 ReLU$^k$ 네트워크는 스펙트럼 바론 공간 $\mathcal{B}^s(\Omega)$에 속하는 함수에 대해 차원 $d$에 관계없이 $L^2$ 근사율 $O(n^{-(k+1)}\log n)$을 달성한다.
• 이 근사율은 일치하는 하한값을 통해 최적이며, 임의의 $m \leq s$에 대해 $\mathcal{B}^s(\Omega)$에 속하는 함수 $f$가 존재하여 $\|f - f_n\|_{H^m(\Omega)} \gtrsim n^{m-(k+1)}$임을 보여준다.
• ReLU$^k$ 네트워크의 근사율은 $k$ 증가에 따라 향상되며, 최고의 가능한 근사율은 $O(n^{-(k+1)}\log n)$이며, 이는 더 이상 향상시킬 수 없다.
• 코사인 활성화에 대해서는 스펙트럼 바론 공간에서 향상된 근사율이 도출되었지만, 개별 형태의 정확한 비율은 초록에서 닫힌 형태로 기재되지 않았다.
• 결과는 ReLU$^k$ 네트워크가 전통적 방법(예: 유한요소나 웨이브릿)과 달리 차원에 독립적인 근사율을 달성할 수 있음을 보여준다. 이러한 방법들은 차원 증가에 따라 부드러움 또는 차수를 증가시켜야 한다.
• 근사율의 최적성은 엔트로피와 커버링 수를 기반으로 한 모순 추론을 통해 증명되었으며, 구성된 함수 집합이 $\sim R^{(2s + \frac{5}{2}d - t)dR^{d-t}}$ 개 이하의 원소로 커버될 수 없다는 것을 보여준다.