[논문 리뷰] Efficient Approximation of Deep ReLU Networks for Functions on Low Dimensional Manifolds

Minshuo Chen, Haoming Jiang외 2명|arXiv (Cornell University)|2019. 08. 05.

Neural Networks and Applications인용 수 16

한 줄 요약

이 논문은 고차원 공간에 임bed된 저차원 다양체 위에서 허더 함수의 비모수 회귀를 위한 딥 ReLU 네트워크 아키텍처를 제안한다. $ n^{-\frac{2(s+\alpha)}{2(s+\alpha) + d}}\log^3 n $ 의 빠른 수렴 속도를 증명하며, 이는 임베딩 차원 $ D $ 에 비해 훨씬 작은 내재 차원 $ d $ 에 적응함을 보여주며, 구조적 고차원 데이터에서 딥 네트워크의 효율성을 설명한다.

ABSTRACT

Real world data often exhibit low-dimensional geometric structures, and can be viewed as samples near a low-dimensional manifold. This paper studies nonparametric regression of Holder functions on low-dimensional manifolds using deep ReLU networks. Suppose $n$ training data are sampled from a Holder function in $\mathcal{H}^{s,\alpha}$ supported on a $d$-dimensional Riemannian manifold isometrically embedded in $\mathbb{R}^D$, with sub-gaussian noise. A deep ReLU network architecture is designed to estimate the underlying function from the training data. The mean squared error of the empirical estimator is proved to converge in the order of $n^{-\frac{2(s+\alpha)}{2(s+\alpha) + d}}\log^3 n$. This result shows that deep ReLU networks give rise to a fast convergence rate depending on the data intrinsic dimension $d$, which is usually much smaller than the ambient dimension $D$. It therefore demonstrates the adaptivity of deep ReLU networks to low-dimensional geometric structures of data, and partially explains the power of deep ReLU networks in tackling high-dimensional data with low-dimensional geometric structures.

연구 동기 및 목표

• 저차원 다양체 위에서의 회귀에 대한 딥 ReLU 네트워크의 근사 효율성을 연구하기 위해.
• 데이터가 $ \mathbb{R}^D $ 에 임bed된 $ d $-차원 리만 다양체 위에 있을 때 딥 ReLU 네트워크의 일반화 오차를 분석하기 위해.
• 딥 네트워크가 내재 차원 $ d $ 에 적응하여 고전적 방법보다 더 빠른 수렴 속도를 달성함을 보여주기 위해.
• 고차원 데이터에서 저차원 기하학적 구조를 가진 실세계 데이터에 대해 딥 네트워크의 경험적 성공에 대한 이론적 근거를 제공하기 위해.

제안 방법

• 고차원 공간 $ \mathbb{R}^D $ 에 임bed된 $ d $-차원 리만 다양체 위의 함수를 위한 딥 ReLU 네트워크 아키텍처를 설계하기 위해.
• ReLU 레이어의 복합 구조를 사용하여 다양체 위에서 $ \mathcal{H}^{s,\alpha} $ 에 속하는 허더 연속 함수를 근사하기 위해.
• 서브가우시안 노이즈가 있는 $ n $ 개의 학습 샘플을 사용하여 경험 리스크 최소화자 구축하기 위해.
• 다양체의 차원 $ d $ 를 기반으로 일반화 오차를 경계하기 위해 기하학적 및 근사이론적 도구를 적용하기 위해.
• 다양체의 등장 길이 임베딩을 활용하여 네트워크 학습 중 국소 기하학을 유지하기 위해.
• 내재 차원 $ d $ 에만 명시적으로 의존하는 수렴 속도를 유도하기 위해.

실험 결과

연구 질문

• RQ1 딥 ReLU 네트워크는 저차원 다양체 위에서 회귀 작업에 대해 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 딥 ReLU 네트워크의 수렴 속도는 내재 차원 $ d $ 와 임베딩 차원 $ D $ 중 어느 쪽에 의해 영향을 받는가?
• RQ3 딥 ReLU 네트워크는 실세계 데이터의 기하학적 구조에 얼마나 잘 적응하는가?
• RQ4 다양체 위의 허더 함수에 대해 딥 ReLU 네트워크가 달성할 수 있는 최적의 일반화 오차율은 무엇인가?

주요 결과

• 경험적 추정기의 평균 제곱 오차는 속도 $ n^{-\frac{2(s+\alpha)}{2(s+\alpha) + d}}\log^3 n $ 로 수렴한다.
• 수렴 속도는 임베딩 차원 $ D $ 가 아니라 내재 차원 $ d $ 에 따라 결정되며, 일반적으로 $ D $ 보다 훨씬 크다.
• $ d $ 가 감소할수록 속도가 향상되어 저차원 기하학적 구조에 대한 적응성이 입증된다.
• 이 결과는 고차원 데이터에서 저차원 다양체를 가진 딥 ReLU 네트워크의 효과성을 이론적으로 뒷받침한다.
• 로그함수 인자 $ \log^3 n $ 는 분석상 필수적임이 입증되었지만, 반드시 날카로운 상한은 아닐 수 있다.