[논문 리뷰] On the rate of convergence of fully connected very deep neural network regression estimates

Michael Köhler, Sophie Langer|arXiv (Cornell University)|2019. 08. 29.

Neural Networks and Applications참고 문헌 23인용 수 18

한 줄 요약

이 논문은 ReLU 활성화 함수를 사용하는 완전 연결 딥 뉴럴 네트워크 회귀 추정기의 최적 수렴 속도를 확립한다. 부드러움 조건 하에서 깊이(층 수 증가)와 넓이(층당 뉴런 수 증가) 모두가 빠른 수렴 속도를 달성할 수 있음을 보여주며, 네트워크 흐문성 조건 없이 차원의 극복을 피할 수 있음을 시사한다. 핵심 기여는 이러한 수렴 결과를 가능하게 하는 딥 ReLU 네트워크에 대한 새로운 근사 이론이다.

ABSTRACT

Recent results in nonparametric regression show that deep learning, i.e., neural network estimates with many hidden layers, are able to circumvent the so-called curse of dimensionality in case that suitable restrictions on the structure of the regression function hold. One key feature of the neural networks used in these results is that their network architecture has a further constraint, namely the network sparsity. In this paper we show that we can get similar results also for least squares estimates based on simple fully connected neural networks with ReLU activation functions. Here either the number of neurons per hidden layer is fixed and the number of hidden layers tends to infinity suitably fast for sample size tending to infinity, or the number of hidden layers is bounded by some logarithmic factor in the sample size and the number of neurons per hidden layer tends to infinity suitably fast for sample size tending to infinity. The proof is based on new approximation results concerning deep neural networks.

연구 동기 및 목표

• 완전 연결 딥 뉴럴 네트워크가 ReLU 활성화를 사용할 때, 네트워크 흐문성 조건 없이 비모수적 회귀에서 빠른 수렴 속도를 달성할 수 있는지 조사하기.
• 회귀 함수에 대한 부드러움 가정 하에, 완전 연결 딥 네트워크 기반 최소 제곱 추정기의 이론적 수렴 속도를 확립하기.
• 고차원 설정에서 수렴 분석을 지원하는 딥 ReLU 네트워크에 대한 새로운 근사 결과 개발하기.
• 깊이 증가와 넓이 증가(적절한 스케일링과 함께)가 모두 최적의 수렴 속도를 이끌어내는지 보여주기.

제안 방법

• 논문은 단항식과 입력의 곱을 제어 가능한 오차로 근사하는 깊이 ReLU 네트워크 아키텍처를 구성하며, 곱셈과 활성화 함수의 재귀적 조합을 사용한다.
• 층 수가 $ R \cdot \lceil \log_2(N+1) \rceil $ 이고, 각 층에 $ 18(N+1) $ 개의 뉴런이 있는 ReLU 네트워크는 단항식 $ \prod_{k=1}^d (x^{(k)})^{r_k} $ 를 오차가 $ 4 \cdot 4^{4(N+1)} \cdot a^{4(N+1)} \cdot (N+1) \cdot 4^{-R} $ 이하로 근사할 수 있음을 증명한다.
• 근사 오차는 층 수 $ R $ 에 의해 제어되며, 고정된 넓이에서 더 깊은 네트워크가 지수적으로 감소하는 오차를 가짐을 보여준다.
• 근사 오차 한계와 통계적 리스크 한계를 조합하여 신경망 추정기의 수렴 속도를 유도하며, 이로 인해 $ L_2 $-리스크 수렴 속도가 도출된다.
• 분석은 두 가지 정황을 고려한다: (1) 고정된 넓이에서 깊이 증가, (2) 로그 스케일의 깊이에서 넓이 증가로, 둘 다 최적의 속도를 제공한다.
• 이 방법은 곱셈과 복합을 위한 재귀적 네트워크 구축에 의존하며, ReLU 활성화 함수가 조각별 선형 함수를 지수적 표현력으로 표현할 수 있음을 활용한다.

실험 결과

연구 질문

• RQ1 완전 연결 딥 뉴럴 네트워크가 ReLU 활성화를 사용할 때, 흐문성 제약 없이 비모수적 회귀에서 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 완전 연결 ReLU 네트워크에서 $ L_2 $-리스크를 최소화하기 위해 깊이와 넓이 사이의 최적의 트레이드오프는 무엇인가?
• RQ3 어떻게 딥 ReLU 네트워크가 제어 가능한 오차로 고차수 단항식을 근사할 수 있으며, 이는 매끄러운 회귀 함수의 빠른 근사에 기여하는가?
• RQ4 매끄러운 회귀 함수에 대한 부드러움 조건 하에서, 깊이 있는 완전 연결 네트워크가 차원의 극복을 피할 수 있는가?

주요 결과

• 논문은 완전 연결 딥 ReLU 네트워크가 흐문성 제약 없이도 비모수적 회귀에서 최적의 수렴 속도를 달성할 수 있음을 확립한다.
• 부드러움 매개수 $ s $ 를 가진 헬더 클래스에 속하는 회귀 함수에 대해, 신경망 추정기의 $ L_2 $-리스크는 $ n^{-\frac{2s}{2s+d}} $ 의 속도로 수렴하며, 이는 최소 최대 최적 속도와 일치한다.
• 변수 $ d $ 에서 차수 $ N $ 의 단항식에 대한 근사 오차는 $ C \cdot 4^{-R} $ 이하로 제한되며, 여기서 $ R $ 은 재귀적 곱셈 네트워크에 사용된 층 수이다.
• 네트워크 구축은 깊이에 따라 지수적 오차 감소를 달성하며, 고정된 넓이에서 깊이 증가만으로도 빠른 수렴이 가능함을 보여준다.
• 표본 크기 $ n $ 과 함께 넓이가 증가하고 깊이가 $ \log n $ 이하로 제한될 경우, 추정기는 여전히 최적의 속도를 달성하며, 이는 넓이가 제한된 깊이를 상쇄할 수 있음을 보여준다.
• 결과는 회귀 함수가 구성적 또는 계층적 구조를 가질 경우, 완전 연결 아키텍처에서도 차원의 극복을 피할 수 있음을 보여준다.