[논문 리뷰] Deep learning is adaptive to intrinsic dimensionality of model smoothness in anisotropic Besov space

Taiji Suzuki, Atsushi Nitanda|arXiv (Cornell University)|2019. 10. 28.

Mathematical Approximation and Integration참고 문헌 60인용 수 24

한 줄 요약

이 논문은 근본적인 매끄러움의 차원수를 고려할 때 딥 러닝이 이방향 베소프 공간에서 매끄러움의 비등방성에 적응함을 보여주며, 근사 오차와 추정 오차가 전체 입력 차원수에 의존하지 않고 방향 간 평균 매끄러움에만 의존함을 입증한다. 이는 목표 함수가 일부 방향에서는 매끄럽고 다른 일부에서는 거친 비등방성 매끄러움을 보일 경우 딥 러닝이 차원의 귀환 문제를 피할 수 있음을 의미하며, 이러한 설정에서 커널 방법과 같은 선형 추정기보다 뛰어난 성능을 발휘한다.

ABSTRACT

Deep learning has exhibited superior performance for various tasks, especially for high-dimensional datasets, such as images. To understand this property, we investigate the approximation and estimation ability of deep learning on anisotropic Besov spaces. The anisotropic Besov space is characterized by direction-dependent smoothness and includes several function classes that have been investigated thus far. We demonstrate that the approximation error and estimation error of deep learning only depend on the average value of the smoothness parameters in all directions. Consequently, the curse of dimensionality can be avoided if the smoothness of the target function is highly anisotropic. Unlike existing studies, our analysis does not require a low-dimensional structure of the input data. We also investigate the minimax optimality of deep learning and compare its performance with that of the kernel method (more generally, linear estimators). The results show that deep learning has better dependence on the input dimensionality if the target function possesses anisotropic smoothness, and it achieves an adaptive rate for functions with spatially inhomogeneous smoothness.

연구 동기 및 목표

• 딥 러닝이 이론적 과제가 존재하는 고차원 작업(예: 이미지 인식)에서 왜 뛰어나게 성능을 내는지 이해하는 것.
• 비등방성 베소프 공간에서 딥 러닝의 근사 오차와 추정 오차를 분석하는 것. 이는 방향에 따라 매끄러움이 달라지는 특성을 모델링한다.
• 목표 함수가 비등방성 매끄러움을 가질 경우 딥 러닝이 차원의 귀환 문제를 피할 수 있음을 보여주는 것.
• 이 설정에서 딥 러닝의 최소최대 최적성(minimax optimality)을 확립하고, 커널 방법과 같은 선형 추정기와 비교하는 것.
• 저차원 데이터 다양체의 가정이 필요 없도록 하여, 데이터 기하학적 특성보다는 내재된 매끄러움의 구조에 초점을 맞추는 것.

제안 방법

• 분석은 입력 차원에 따라 매끄러움이 달라지는 비등방성 베소프 공간에서 수행되며, 이는 헬더 공간 및 소보레프 공간과 같은 등방성 함수 클래스를 일반화한다.
• 저자들은 템리아코프(1993)와 데보르(1998)의 근사 이론을 활용하여 딥 렐루 네트워크의 근사 오차를 경계한다.
• 딥 뉴럴 네트워크의 커버링 수를 활용한 커버링 수 분석을 통해 추정 오차 경계를 유도하며, 렐루 활성화 함수의 구조와 가중치 제약 조건을 활용한다.
• 네트워크 클래스의 커버링 수는 흐문성과 가중치 크기의 조합을 통해 경계되며, 정밀도와 네트워크 깊이에 대해 로그적 의존성을 보인다.
• 핵심 통찰은 효과적 차원수는 총 입력 차원수가 아니라 각 방향에 대한 매끄러움 파라미터의 평균에 의해 결정된다는 것이다.
• 딥 러닝이 선형 추정기와 비교하여 최소최대 최적성을 확립하며, 비등방성 매끄러움 하에서 더 빠른 수렴 속도를 보임을 보여준다.

실험 결과

연구 질문

• RQ1 목표 함수가 방향에 따라 매끄러움이 다를 경우 딥 러닝이 차원의 귀환 문제를 피할 수 있는가?
• RQ2 딥 러닝의 근사 오차와 추정 오차는 전체 입력 차원수에 의존하는가, 아니면 방향 간 평균 매끄러움에만 의존하는가?
• RQ3 비등방성 매끄러움 영역에서 딥 러닝의 성능은 커널 리지 회귀와 같은 선형 추정기와 비교해 어떻게 되는가?
• RQ4 딥 러닝은 비등방성 베소프 공간에서 최소최대 최적인가, 그리고 공간적으로 비균일한 매끄러움에 대해 적응적인 수렴 속도를 달성하는가?
• RQ5 저차원 데이터 다양체의 가정 없이도 분석을 수행할 수 있는가? 이는 기하학적 특성보다는 매끄러움의 구조에 기반한다.

주요 결과

• 딥 러닝의 근사 오차와 추정 오차는 전체 입력 방향의 평균 매끄러움 파라미터에만 의존하며, 총 차원수에는 의존하지 않는다.
• 딥 러닝은 $\tilde{O}(n^{-\frac{2\widetilde{\beta}}{2\widetilde{\beta}+1}})$ 정도의 수렴 속도를 달성하며, 여기서 $\widetilde{\beta}$는 평균 매끄러움을 의미한다. 이는 비등방성 설정에서 차원의 귀환 문제를 피함을 의미한다.
• 이 수렴 속도는 최소최대 최적이며, $D \ll d$일 경우 커널 방법의 $\tilde{O}(n^{-\frac{2\beta}{2\beta+D}})$ 수렴 속도보다 엄격히 빠르다.
• 분석 과정에서 데이터가 저차원 다양체 위에 존재한다는 가정이 필요 없어, 노이즈에 더 강건하며 이전 연구보다 더 일반적인 설정에 적용 가능하다.
• 딥 러닝은 공간적으로 비균일한 매끄러움에 적응하여, 최소최대 위험 측면에서 비적응 선형 추정기보다 뛰어난 성능을 발휘한다.
• 딥 렐루 네트워크의 커버링 수는 $\log \mathcal{N} \leq 2SL\log((B\vee 1)(W+1)) + S\log(\delta^{-1}L)$ 로 경계되며, 이는 날것의 일반화 경계를 제공한다.