[논문 리뷰] Adaptivity of deep ReLU network for learning in Besov and mixed smooth Besov spaces: optimal rate and curse of dimensionality

Taiji Suzuki|arXiv (Cornell University)|2018. 10. 18.

Image and Signal Denoising Methods인용 수 81

한 줄 요약

본 논문은 Besov 공간과 혼합 매끄러움 Besov 공간의 함수에 대해 심층 ReLU 네트워크를 분석하고, 미니맥스 최적의 근사 및 추정 속도와 적응성이 혼합 매끄러움 공간에서 차원의 저주를 피하는 데 도움을 준다고 밝혔다.

ABSTRACT

Deep learning has shown high performances in various types of tasks from visual recognition to natural language processing, which indicates superior flexibility and adaptivity of deep learning. To understand this phenomenon theoretically, we develop a new approximation and estimation error analysis of deep learning with the ReLU activation for functions in a Besov space and its variant with mixed smoothness. The Besov space is a considerably general function space including the Holder space and Sobolev space, and especially can capture spatial inhomogeneity of smoothness. Through the analysis in the Besov space, it is shown that deep learning can achieve the minimax optimal rate and outperform any non-adaptive (linear) estimator such as kernel ridge regression, which shows that deep learning has higher adaptivity to the spatial inhomogeneity of the target function than other estimators such as linear ones. In addition to this, it is shown that deep learning can avoid the curse of dimensionality if the target function is in a mixed smooth Besov space. We also show that the dependency of the convergence rate on the dimensionality is tight due to its minimax optimality. These results support high adaptivity of deep learning and its superior ability as a feature extractor.

연구 동기 및 목표

• 심층 ReLU 네트워크가 Besov 공간과 혼합 Besov 공간을 미니맥스 최적화적으로 근사할 수 있음을 입증한다.
• Besov 공간에 대해 심층 학습이 커널 릿지 회귀(kernel ridge regression)와 같은 선형 추정기보다 우수하다는 것을 보인다.
• 혼합 매끄러운 Besov 공간에서 심층 신경망이 차원의 저주를 피할 수 있음을 확립한다.
• Besov/혼합 Besov 가정 하에서 명시적인 근사 오차 및 추정 오차 경계를 제공한다.

제안 방법

• 기수 B-스플라인(cardinal B-splines) 및 B-스플라인 표현을 이용하여 Besov 및 혼합 Besov 공간을 근사하는 ReLU 네트워크의 근사 오차 경계를 개발한다.
• 주어진 L-∞ 오차로 epsilon 이내에 B-스플라인을 근사하는 ReLU 네트워크의 존재를 증명한다.
• Besov/m-Besov 근사 경계를 비모수 회귀 설정에서 일반화/추정 오차 경계로 변환한다.
• Besov 공간에서의 추정에 대한 미니맥스 최적 속도를 도출하고 혼합 Besov 공간에서 향상된 속도를 보인다.
• 적응적 심층 학습 속도를 선형(예: 커널 릿지) 속도와 비교하고 최적성 주장을 제시한다.

실험 결과

연구 질문

• RQ1 ReLU 기반 심층 네트워크가 Besov 공간의 함수에 대해 미니맥스-최적 근사 속도를 달성할 수 있는가?
• RQ2 ReLU 네트워크가 Besov 공간에 대해 근사 및 추정 오차 둘 다에서 선형 추정기(예: 커널 릿지 회귀)보다 우수한가?
• RQ3 혼합 매끄러운 Besov 공간이 심층 네트워크가 차원의 저주를 피하도록 할 수 있는가, 그리고 결과 속도는 무엇인가?
• RQ4 네트워크 아키텍처 매개변수(깊이, 너비, 희소성, 노름 한계)가 구체적인 근사 및 추정 오차 경계로 어떻게 반영되는가?

주요 결과

• 지정된 매끄러움 및 적분 조건 하에서 Deep ReLU 네트워크가 Besov 공간에서 미니맥스 최적 근사 속도를 달성한다.
• Besov 공간에 대해 심층 네트가 커널 릿지 회귀와 같은 선형 추정기보다 우수하며, 특히 목표의 공간적으로 불균일한 매끄러움이 있을 때 그렇다.
• 혼합 매끄러운 Besov 공간에서 심층 네트워크는 차원의 저주를 피하고 거의 미니맥스 속도에 근접한 속도를 달성할 수 있으며, 속도는 s와 d에 의존한다.
• B-스플라인을 통한 근사 오차 경계는 명시적 L^r 노름을 갖는 유한 네트워크 구성을 제공하며, 적응성의 이점을 보여준다.
• 가우시안 노이즈가 있는 표준 비모수 회귀에서 추정 오차 분석은 심층 네트가 다항로그 인자와 함께 미니맥스 속도 n^{-2s/(2s+d)}에 도달할 수 있음을 보여주며, 이는 선형 추정기로는 달성할 수 없다.