[논문 리뷰] Deep Nonparametric Regression on Approximate Manifolds: Non-Asymptotic Error Bounds with Polynomial Prefactors

Yuling Jiao, Guohao Shen외 2명|arXiv (Cornell University)|2021. 04. 14.

Topological and Geometric Data Analysis참고 문헌 94인용 수 11

한 줄 요약

이 논문은 저차원 다양체 가정 하에 딥 네ural 네트워크 회귀의 비점근적 오차 경계를 수립하며, 차원에 대해 다항수렴하는 의존성(지수적 의존성 대신)을 보이며 예측 오차가 최소최대 최적 속도에 도달함을 보여준다. ReLU 네트워크를 위한 새로운 근사 오차 경계를 제안하고, 네트워크 상대 효율성이라는 개념을 정의하여 아키텍처를 비교하며, 데이터가 또는 저차원 다양체 근처에 있을 경우 딥 네트워크가 차원의 저주를 극복할 수 있음을 증명한다.

ABSTRACT

We study the properties of nonparametric least squares regression using deep neural networks. We derive non-asymptotic upper bounds for the prediction error of the empirical risk minimizer of feedforward deep neural regression. Our error bounds achieve minimax optimal rate and significantly improve over the existing ones in the sense that they depend polynomially on the dimension of the predictor, instead of exponentially on dimension. We show that the neural regression estimator can circumvent the curse of dimensionality under the assumption that the predictor is supported on an approximate low-dimensional manifold or a set with low Minkowski dimension. We also establish the optimal convergence rate under the exact manifold support assumption. We investigate how the prediction error of the neural regression estimator depends on the structure of neural networks and propose a notion of network relative efficiency between two types of neural networks, which provides a quantitative measure for evaluating the relative merits of different network structures. To establish these results, we derive a novel approximation error bound for the Hölder smooth functions with a positive smoothness index using ReLU activated neural networks, which may be of independent interest. Our results are derived under weaker assumptions on the data distribution and the neural network structure than those in the existing literature.

연구 동기 및 목표

• 입력 차원에 대해 다항수렴하는 비점근적 예측 오차 경계를 설정하여 지수적 의존성을 피하는 딥 네트워크 회귀를 위한 목표.
• 예측 변수가 저차원 다양체 또는 낮은 민코프스키 차원을 갖는 집합에 포함될 경우 딥 네트워크가 차원의 저주를 피할 수 있음을 보이는 것.
• 제어된 너비와 깊이를 갖는 ReLU-활성화 피드포워드 신경망을 사용하여 헬더-스무쓰 함수에 대한 새로운 근사 오차 경계를 유도하는 것.
• 다양한 신경망 아키텍처를 정량적으로 비교하기 위해 네트워크 상대 효율성의 개념을 도입하고 체계화하는 것.
• 이전 연구에 비해 데이터 분포 및 네트워크 아키텍처에 대한 가정을 완화하여 더 넓은 적용 가능성을 확보하는 것.

제안 방법

• ReLU 네트워크를 사용한 깊은 비모수 회귀에서 경험 위험 최소화자의 예측 오차에 대한 비점근적 상한을 유도한다.
• 제어된 너비와 깊이를 갖는 ReLU-활성화 피드포워드 신경망을 사용하여 헬더-스무쓰 함수에 대한 새로운 근사 오차 경계를 수립한다.
• 높은 차원의 데이터를 저차원 공간으로 임bedding하기 위해 무작위 투영을 사용하며, 쌍별 거리의 왜곡 요소 δ 이내로 유지한다.
• 내재 차원 d₀를 내재 차원 d*에 따라 제어하기 위해 ε-엔트로피 기반의 존슨-린든스트라우스 유형 농도 경계를 적용한다.
• 근사 오차와 추정 오차 항을 조합하여 차원에 대해 다항 계수를 갖는 복합 위험 경계를 유도한다.
• 동일한 파rameter 예산 하에서 다양한 네트워크 아키텍처의 수렴 속도를 비교하기 위해 네트워크 상대 효율성의 개념을 도입한다.

실험 결과

연구 질문

• RQ1 저차원 다양체 가정 하에서 차원에 대해 다항수렴하는 의존성(지수적 의존성 대신)을 갖는 딥 네트워크 회귀가 최소최대 최적 수렴 속도를 달성할 수 있는가?
• RQ2 고차원에서 헬더-스무쓰 함수에 대해 ReLU 네트워크의 근사 오차는 어떻게 척도화되는가?
• RQ3 네트워크 아키텍처(너비, 깊이, 파rameter 수)와 비모수 회귀에서의 예측 오차 사이의 관계는 무엇인가?
• RQ4 다양한 신경망 아키텍처의 수렴 속도를 정량적으로 비교하기 위해 어떻게 효율성을 측정할 수 있는가?
• RQ5 비모수 회귀에서 딥 네트워크가 차원의 저주를 극복할 수 있는 조건은 무엇인가?

주요 결과

• 딥 네트워크 추정자의 예측 오차는 내재 차원 d₀에 대해 n^{-2β/(2β + d₀)}로 스케일링되는 항에 의해 경계지며, 저차원 다양체 지지에 대해 최소최대 최적 속도를 달성한다.
• 오차 경계는 환경 차원 d에 대해 다항수렴 의존성을 보이며, 특히 d^{1/2}d₀^{⌊β⌋ + (β∨1+1)/2}로 표현되며 지수적 의존성 대비 차원의 저주를 완화한다.
• 헬더-스무쓰 함수에 대한 새로운 근사 오차 경계를 도출하였으며, 이는 네트워크 크기 N×M에 대해 오차가 (NM)^{-2β/d₀}로 감소함을 보여준다.
• 제안된 네트워크 상대 효율성 측정법을 통해 다양한 네트워크 유형 간의 효율성을 정량적으로 비교할 수 있으며, 동일한 파rameter 예산 하에서 더 깊거나 넓은 아키텍처가 더 효율적일 수 있음을 보여준다.
• 이전 연구에 비해 데이터 분포 및 네트워크 구조에 대한 가정을 완화하여 실용적 적용 가능성을 높였다.
• 이론적 프레임워크는 무작위 투영 이론과 ε-엔트로피 기반의 농도 경계의 조합을 통해 검증되었으며, 고차원 설정에서의 강건성을 보장한다.