[논문 리뷰] High-Order Approximation Rates for Neural Networks with ReLU k Activation Functions.

Jonathan W. Siegel, Jinchao Xu|arXiv (Cornell University)|2020. 12. 14.

Machine Learning and Algorithms참고 문헌 31인용 수 14

한 줄 요약

이 논문은 ReLU^k 활성화 함수를 사용하는 얕은 신경망을 연구하여, 부드러운 함수에 대해 L²([0,1]^d)에서 최적의 근사율 O(n^{-(k+1)}log(n))을 달성함을 보여준다. 유한요소나 웨이브릿과 달리 이러한 네트워크는 차원의 저주를 더 효과적으로 극복하며 고차원에서 스퍼스 그리드보다 뛰어난 성능을 보인다.

ABSTRACT

We study the approximation properties of shallow neural networks (NN) with activation function which is a power of the rectified linear unit. Specifically, we consider the dependence of the approximation rate on the dimension and the smoothness of the underlying function to be approximated. Like the finite element method, such networks represent piecewise polynomial functions. However, we show that for sufficiently smooth functions the approximation properties of shallow ReLU$^k$ networks are much better than finite elements or wavelets, and they even overcome the curse of dimensionality more effectively than the sparse grid method. Specifically, for a sufficiently smooth function $f$, there exists a ReLU$^k$-NN with $n$ neurons which approximates $f$ in $L^2([0,1]^d)$ with $O(n^{-(k+1)}\log(n))$ error. Finally, we prove lower bounds showing that the approximation rates attained are optimal under the given assumptions.

연구 동기 및 목표

• 얕은 신경망이 ReLU^k 활성화 함수를 사용할 때의 근사 능력을 분석하기 위해.
• 네트워크 크기 n과 함수의 부드러움 정도 k가 고차원 영역에서 근사 오차에 어떻게 영향을 미치는지 이해하기 위해.
• 근사율 측면에서 전통적인 방법들인 유한요소, 웨이브릿, 스퍼스 그리드와 비교하여 ReLU^k 네트워크의 성능을 평가하기 위해.
• 부드러움과 차원 제약 조건 하에서 유도된 근사율이 최적이 되는지 확인하기 위해.
• ReLU^k 네트워크가 기존 방법들에 비해 차원의 저주를 얼마나 더 효과적으로 완화할 수 있는지 조사하기 위해.

제안 방법

• k ≥ 1일 때 φ(x) = (max(0, x))^k인 활성화 함수를 갖는 얕은 신경망을 분석함.
• 유한요소 방법과 유사하게 도메인의 분할 위에서 조각다항식 함수로 네트워크를 모델링함.
• 근사 이론을 사용하여 목표 함수 f와 그 ReLU^k 네트워크 근사치 사이의 L² 오차를 근사함.
• f의 부드러움(측정 기준으로 k)과 뉴런 수 n, 차원 d에 따라 의존하는 오차 한계를 유도함.
• 근사 이론과 함수해석학의 결과를 적용하여 근사율에 대한 상한과 하한을 확립함.
• 유한요소, 웨이브릿, 스퍼스 그리드의 알려진 한계와 비교하여 고차원에서의 우수성을 부각함.

실험 결과

연구 질문

• RQ1 고차원 L² 공간에서 부드러운 함수에 대해 얕은 ReLU^k 네트워크의 근사율은 무엇인가?
• RQ2 근사 오차는 뉴런 수 n과 부드러움 매개변수 k에 따라 어떻게 변화하는가?
• RQ3 고차원에서 ReLU^k 네트워크는 유한요소, 웨이브릿, 스퍼스 그리드보다 더 뛰어난 근사율을 달성할 수 있는가?
• RQ4 주어진 부드러움과 차원 제약 조건 하에서 유도된 근사율이 최적이 되는가?
• RQ5 기존 방법들에 비해 ReLU^k 네트워크는 차원의 저주를 어느 정도 효과적으로 완화할 수 있는가?

주요 결과

• 모든 충분히 부드러운 함수 f ∈ L²([0,1]^d)에 대해, n개의 뉴런을 갖는 ReLU^k 네트워크가 존재하여 f를 L² 오차 O(n^{-(k+1)}log(n))로 근사할 수 있음.
• 주어진 부드러움과 차원 제약 조건 하에서 근사율 O(n^{-(k+1)}log(n))이 최적이며, 일치하는 하한값을 통해 이를 입증함.
• 부드러운 함수에 대해 ReLU^k 네트워크는 유한요소 방법과 웨이브릿에 비해 근사율 측면에서 뛰어남.
• 특히 고차원 설정에서 스퍼스 그리드 방법보다 차원의 저주를 더 효과적으로 극복함.
• ReLU 활성화의 차수(k)가 수렴 속도를 직접적으로 제어하며, 높은 k일수록 근사 오차의 감소 속도가 빨라짐.
• 오차 한계에 포함된 로그 인자 log(n)는 필수적이며, 현재의 가정 하에서는 제거할 수 없음.