[논문 리뷰] Deep ReLU networks overcome the curse of dimensionality for bandlimited functions

Hadrien Montanelli, Haizhao Yang외 1명|arXiv (Cornell University)|2019. 01. 01.

Neural Networks and Applications참고 문헌 22인용 수 35

한 줄 요약

이 논문은 마우레이 정리와 체비셰프 다항식 및 해석 함수의 효율적 근사화를 활용하여, 일반화된 밴드리미티드 함수에 대해 깊은 ReLU 신경망이 차원의 극복을 초월함을 증명한다. $L^2$-노름에서 정확도 $\epsilon$로의 근사화를 위해서는 깊이 $L = O(\log^2(1/\epsilon))$와 크기 $W = O(\epsilon^{-2} \log^2(1/\epsilon))$가 필요하며, 이는 단위 입방체 위의 밴드리미티드 함수에 대해 차원과 무관하다.

ABSTRACT

We prove a theorem concerning the approximation of bandlimited multivariate functions by deep ReLU networks for which the curse of the dimensionality is overcome. Our theorem is based on a result by Maurey and on the ability of deep ReLU networks to approximate Chebyshev polynomials and analytic functions efficiently.

연구 동기 및 목표

• 고차원 함수 근사에서 깊은 신경망을 사용할 때 발생하는 차원의 극복 문제를 다루기 위해.
• 일반화된 밴드리미티드 함수에 대해 깊은 ReLU 신경망의 근사 능력에 대한 이론적 한계를 설정하기 위해.
• 이러한 함수 유형에 대해 깊은 ReLU 신경망이 차원에 종속되지 않는 근사 속도를 달성할 수 있음을 보여주기 위해.
• 복합적 구조와 효율적 곱셈 네트워크의 특성을 활용하여 기존 얕은 네트워크 결과를 깊은 아키텍처로 확장하기 위해.

제안 방법

• 기능 클래스의 엔트로피 수를 통해 근사 오차를 제한하기 위해 마우레이 정리를 활용한다.
• 이중 곱셈 유닛의 재귀적 조합을 통해 다변수 단항식 $x_1 \cdots x_d$를 효율적으로 근사하는 깊은 ReLU 네트워크를 구축한다.
• 역정확도에 대해 깊이와 크기가 로그적으로 증가하는 네트워크 아키텍처를 활용하여 체비셰프 다항식과 해석 함수를 근사한다.
• 단항식의 근사화를 활용하여 계수의 범위가 제한된 일반 다항식을 위한 네트워크를 구성한다.
• 푸리에 변환에 대한 적분으로 표현된 밴드리미티드 함수의 구조를 활용하여 커널 함수의 근사화와 네트워크 설계를 연결한다.
• 다항식 근사와 측도에 의존하는 상수를 결합하여 $L^2(B, \mu)$-노름에서 오차 한계를 유도한다.

실험 결과

연구 질문

• RQ1 깊은 ReLU 신경망은 고차원에서 밴드리미티드 함수에 대해 차원의 극복을 초월할 수 있는가?
• RQ2 주어진 정확도 $\epsilon$로 밴드리미티드 함수를 근사하기 위해 깊은 ReLU 네트워크가 필요한 최소 깊이와 크기는 무엇인가?
• RQ3 이러한 함수 유형에 대해 근사 오차는 $\epsilon$과 차원 $d$에 대해 어떻게 변화하는가?
• RQ4 깊은 ReLU 신경망은 일반화된 밴드리미티드 함수를 정의하는 커널 함수 $K(w \cdot x)$를 효율적으로 근사할 수 있는가?
• RQ5 체비셰프 다항식과 해석 함수 근사화는 차원에 종속되지 않는 오차 한계를 달성하는 데 어떤 역할을 하는가?

주요 결과

• 깊은 ReLU 신경망은 일반화된 밴드리미티드 함수에 대해 $L^2$-근사 오차 $\epsilon$를 깊이 $L = O(\log^2(1/\epsilon))$와 크기 $W = O(\epsilon^{-2} \log^2(1/\epsilon))$로 달성할 수 있으며, 이는 차원 $d$와 무관하다.
• 구간 $[-M,M]^d$ 위에서의 곱 $x_1 \cdots x_d$ 근사 오차는 깊이와 크기가 $O(d \log^2(d/\epsilon) + d^2 \log^2 M)$인 네트워크를 통해 $\epsilon$ 이내로 제한된다.
• 계수의 범위가 제한된 차수 $n$의 다항식은 깊이와 크기가 $O(n \log^2(Cn/\epsilon) + n^2 \log^2 M)$인 네트워크로 정확도 $\epsilon$로 근사할 수 있다.
• 깊은 ReLU 신경망이 해석 함수와 체비셰프 다항식을 근사함으로써 밴드리미티드 함수에 대한 효율적 근사자 구축이 가능해진다.
• 단위 입방체 $B = [0,1]^d$ 위의 확률측도 $\mu$ 하에서 오차 한계는 차원 $d$와 무관하므로, 차원의 극복을 극복한다.
• 이론적 프레임워크는 매우 깊은 네트워크가 근사성과 병렬 컴퓨팅 성능 측면에서 얕은 네트워크보다 더 효율적임을 보여준다.