[논문 리뷰] Nonparametric Regression on Low-Dimensional Manifolds using Deep ReLU Networks

Minshuo Chen, Haoming Jiang외 2명|arXiv (Cornell University)|2019. 08. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 52인용 수 10

한 줄 요약

이 논문은 고차원 공간에 임bed된 저차원 다양체 위에서 허더 함수의 비모수적 회귀를 위한 딥 ReLU 네트워크 아키텍처를 제안한다. 평균 제곱 오차 수렴 속도 $ n^{-rac{2(s+eta)}{2(s+eta) + d}} olimits\log^3 n $ 를 증명하여, 딥 네트워크가 내재 차원 $ d $ 에 적응함을 보이며, 환경 차원 $ D $ 가 크더라도 빠른 수렴 속도를 달성함을 보여준다.

ABSTRACT

Real world data often exhibit low-dimensional geometric structures, and can be viewed as samples near a low-dimensional manifold. This paper studies nonparametric regression of H\older functions on low-dimensional manifolds using deep ReLU networks. Suppose $n$ training data are sampled from a H\older function in $\mathcal{H}^{s,\alpha}$ supported on a $d$-dimensional Riemannian manifold isometrically embedded in $\mathbb{R}^D$, with sub-gaussian noise. A deep ReLU network architecture is designed to estimate the underlying function from the training data. The mean squared error of the empirical estimator is proved to converge in the order of $n^{-\frac{2(s+\alpha)}{2(s+\alpha) + d}}\log^3 n$. This result shows that deep ReLU networks give rise to a fast convergence rate depending on the data intrinsic dimension $d$, which is usually much smaller than the ambient dimension $D$. It therefore demonstrates the adaptivity of deep ReLU networks to low-dimensional geometric structures of data, and partially explains the power of deep ReLU networks in tackling high-dimensional data with low-dimensional geometric structures.

연구 동기 및 목표

• 저차원 다각체 위에서 허더 함수의 비모수적 회귀를 딥 ReLU 네트워크를 사용하여 연구하기.
• 고차원 공간에 임베드된 저차원 리만 다각체 근처에 분포하는 데이터에서 딥 네트워크의 일반화 오차를 분석하기.
• 딥 ReLU 네트워크가 내재 차원 $ d $ 에 적응하여, 환경 차원 $ D $ 가 클 경우에도 고전적 방법보다 더 빠른 수렴 속도를 달성함을 보여주기.
• 딥 네트워크가 고차원 데이터에서 저차원 기하학적 구조를 가진 데이터에 대해 경험적으로 성공하는 데 이론적 근거를 제공하기.

제안 방법

• 저차원 다각체 위에서의 회귀에 적합한 딥 ReLU 네트워크 아키텍처를 설계하기.
• 허더 함수의 부드기 $ s+\alpha $ 와 다각체의 내재 차원 $ d $ 에 따라 깊이와 너비가 조절되는 네트워크를 사용하기.
• 다각체의 기하학적 구조를 활용하여 기본 허더 함수를 근사하도록 네트워크를 구성하기.
• 학습 샘플에서 서브가우시안 노이즈가 존재하는 경우에 데이터에 의존적인 경험 리스크 최소화 프레임워크 적용하기.
• 근사 이론과 다각체 위의 통계학적 학습 도구를 사용하여 수렴 속도를 증명하기.
• 다각체 임bed의 복잡성을 반영하는 로그 인자 $ \log^3 n $ 를 사용하여 오차 한계 설정하기.

실험 결과

연구 질문

• RQ1 딥 ReLU 네트워크는 고차원 공간에 임베드된 저차원 다각체 위에서 비모수적 회귀에 대해 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 딥 ReLU 네트워크의 수렴 속도는 내재 차원 $ d $ 와 환경 차원 $ D $ 중 어느 쪽에 더 의존하는가?
• RQ3 딥 ReLU 네트워크는 저내재 차원을 가진 데이터의 기하학적 구조에 얼마나 잘 적응하는가?
• RQ4 이 설정에서 딥 ReLU 네트워크의 최적 수렴 속도는 무엇이며, 고전적 비모수적 방법보다 향상되는가?
• RQ5 서브가우시안 노이즈가 다각체 기반 데이터에서 딥 ReLU 네트워크의 일반화 성능에 어떤 영향을 미치는가?

주요 결과

• 경험 추정기의 평균 제곱 오차는 내재 차원 $ d $ 에 따라 결정되는 속도 $ n^{-\frac{2(s+\alpha)}{2(s+\alpha) + d}}\log^3 n $ 로 수렴한다. 이는 환경 차원 $ D $ 가 아니라 내재 차원 $ d $ 에 의존함을 의미한다.
• 내재 차원 $ d $ 가 작을 경우, 환경 차원 $ D $ 가 크더라도 수렴 속도가 크게 향상됨을 보여준다.
• 이론적 속도는 딥 ReLU 네트워크가 데이터의 저차원 기하학적 구조에 적응할 수 있음을 보이며, 고차원 환경에서의 경험적 성공을 설명한다.
• 로그 인자 $ \log^3 n $ 는 다각체 임베드의 복잡성과 네트워크의 근사 능력을 반영한다.
• 결과는 딥 네트워크가 저내재 차원성을 가진 고차원 데이터에서 잘 일반화되는 이유를 부분적으로 설명한다.
• 분석을 통해 딥 ReLU 네트워크가 다각체 기반 비모수적 회귀에서 효과적임을 이론적으로 기반을 마련한다.