[논문 리뷰] Exponential Convergence of the Deep Neural Network Approximation for Analytic Functions

E Weinan, Qingcan Wang|arXiv (Cornell University)|2018. 07. 01.

Neural Networks and Applications참고 문헌 7인용 수 16

한 줄 요약

이 논문은 낮은 차원 공간에서 해석 함수를 근사할 때 고정 너비 $d+4$를 갖는 딥 네ural 네트워크가 지수 수렴 속도를 달성함을 증명한다. 푸리에 분석과 ReLU 네트워크 표현을 활용하여 근사 오차가 $\mathcal{O}(\varepsilon^{-\log(1/\varepsilon)})$로 감소함을 보이며, 깊이가 정확도에 대해 로그 스케일링됨을 보여, 부드러운 함수에 대해 얕은 네트워크보다 근본적인 이점을 보임.

ABSTRACT

We prove that for analytic functions in low dimension, the convergence rate of the deep neural network approximation is exponential.

연구 동기 및 목표

• 부드러운 함수에 대해 딥 네트워크가 얕은 네트워크보다 우월한 근사 능력을 지닌 이론적 기반을 확립하기 위해.
• 딥 네트워크가 해석 함수에 대해 지수 수렴 속도를 달성할 수 있음을 증명하기 위해, 특히 저차원 설정에서.
• 고정 너비 $d+4$를 갖는 깊은 ReLU 네트워크를 구성하여 해석 함수를 근사하고, 깊이가 오차 허용 범위에 대해 로그 스케일링되도록 하기 위해.
• 유니버설 근사 정리와 수렴 속도 사이의 격차를 메우기 위해 바론의 일중간층 결과를 딥 아키텍처로 확장하기 위해.

제안 방법

• 스킵 연결을 갖는 깊은 ReLU 네트워크를 구축하고 고정 너비 $d+4$를 사용하여 클래스 $\mathcal{F}_{L,M}(\mathbb{R}^d)$에 속하는 함수를 표현하기 위해.
• 함수의 푸리에 표현을 사용하여 컴acts 도메인 $B$에서 $L^2$-노름으로 근사 오차를 제한하는 양 $C_{f,B}$를 정의하기 위해.
• 시그모이드 활성화를 갖는 일중간층 네트워크에 대해 바론의 결과를 적용하여 $L^2$-오차가 $\mathcal{O}(n^{-1})$로 감소함을 보여, 여기서 $n$은 은닉 노드의 수임.
• 층별 분해를 통해 얕은 ReLU 네트워크를 깊은 네트워크로 변환하여 근사 정확도를 유지하면서 깊이 기반 분석을 가능하게 하기 위해.
• 깊이 $L$과 너비 $M+d+1$를 갖는 깊은 네트워크가 오차 $\mathcal{O}((ML)^{-1/2})$를 달성함을 증명하여, $M$이 고정되고 $L \sim \log(1/\varepsilon)$일 때 지수 수렴이 가능함을 보임.
• 해석 함수의 경우 파rameter 수가 $\mathcal{O}((M+d)^2 L)$로 스케일링되며, $M = d$일 때 오차율은 $\mathcal{O}((N/d)^{-1/2})$로 나타나 얕은 네트워크의 비율과 일치하지만 더 깊은 아키텍처를 사용함.

실험 결과

연구 질문

• RQ1 저차원에서 해석 함수에 대해 딥 네트워크가 지수 수렴 속도를 달성할 수 있는가?
• RQ2 해석 함수에 대해 원하는 근사 정확도 $\varepsilon$에 비례해 딥 네트워크의 깊이가 어떻게 스케일링되는가?
• RQ3 부드러운 함수에 대해 딥 네트워크에서 파rameter 수와 근사 오차 사이의 관계는 무엇인가?
• RQ4 얕은 네트워크의 유니버설 근사 성질이 증명 가능한 수렴 속도를 갖는 딥 네트워크로 확장될 수 있는가?

주요 결과

• 저차원에서 해석 함수에 대해 고정 너비 $d+4$를 갖는 딥 네트워크는 지수 수렴을 달성한다: 오차 허용 범위 $\varepsilon$에 대해 깊이가 $\mathcal{O}(\log(1/\varepsilon))$로 스케일링됨.
• 딥 네트워크의 $L^2$-근사 오차는 $\mathcal{O}((ML)^{-1/2})$로 제한되며, 여기서 $M$은 너비이고 $L$은 깊이임. 이는 $M$이 고정되고 $L \sim \log(1/\varepsilon)$일 때 지수 감소를 이끌어냄.
• 깊이 $L$과 너비 $M+d+1$를 갖는 딥 ReLU 네트워크는 $\mathcal{F}_{L,M}(\mathbb{R}^d)$에 속하는 임의의 함수를 오차 $\leq \frac{8C_{f,B}^2}{ML}$로 근사할 수 있으며, 여기서 $C_{f,B}$는 $f$의 푸리에 변환에 의존함.
• 네트워크의 파rameter 수는 $\mathcal{O}((M+d)^2 L)$이며, $M = d$일 때 오차율은 $\mathcal{O}((N/d)^{-1/2})$로 나타나 얕은 네트워크의 비율과 일치하지만 더 깊은 아키텍처를 사용함.
• 이 구성은 깊은 네트워크가 얕은 네트워크와 동일한 수렴 속도를 달성할 수 있음을 보여주며, 깊이를 늘릴수록 더 효율적인 파rameter-정확도 스케일링이 가능함을 시사함.
• 결과는 해석 함수에 대해 딥 네트워크의 근본적인 이점을 보여주며, 지수 수렴은 얕은 네트워크의 다항 수렴 속도에 비해 오차 감소가 훨씬 빠르다는 것을 의미함.