[논문 리뷰] Adaptive Approximation and Generalization of Deep Neural Network with Intrinsic Dimensionality

Ryumei Nakada, Masaaki Imaizumi|arXiv (Cornell University)|2019. 07. 04.

Neural Networks and Applications참고 문헌 43인용 수 44

한 줄 요약

해당 논문은 DNN 근사화 및 일반화 속도가 명목 환경 차원(D)이 아니라 데이터의 고유 Minkowski 차원에 의존함을 보이고, minimax 최적성 및 더 넓은 적용 가능성을 제시합니다.

ABSTRACT

In this study, we prove that an intrinsic low dimensionality of covariates is the main factor that determines the performance of deep neural networks (DNNs). DNNs generally provide outstanding empirical performance. Hence, numerous studies have actively investigated the theoretical properties of DNNs to understand their underlying mechanisms. In particular, the behavior of DNNs in terms of high-dimensional data is one of the most critical questions. However, this issue has not been sufficiently investigated from the aspect of covariates, although high-dimensional data have practically low intrinsic dimensionality. In this study, we derive bounds for an approximation error and a generalization error regarding DNNs with intrinsically low dimensional covariates. We apply the notion of the Minkowski dimension and develop a novel proof technique. Consequently, we show that convergence rates of the errors by DNNs do not depend on the nominal high dimensionality of data, but on its lower intrinsic dimension. We further prove that the rate is optimal in the minimax sense. We identify an advantage of DNNs by showing that DNNs can handle a broader class of intrinsic low dimensional data than other adaptive estimators. Finally, we conduct a numerical simulation to validate the theoretical results.

연구 동기 및 목표

• 고차원 데이터에서 DNN 성능에서 고유 차원성의 역할을 동기부여하고 형식화합니다.
• Minkowski 차원을 정의하고 이를 고유 데이터 구조와 연결합니다.
• 고유 차원 d에 의존하는 DNN의 근사 및 일반화 경계를 도출합니다(환경 차원 D가 아니라).
• 도출된 속도의 minimax 최적성을 보입니다.
• 이론적 결과를 검증하는 수치 시뮬레이션을 제공합니다.

제안 방법

• [0,1]^D에서 Hölder 클래스의 f0와 Minkowski 차원을 갖는 공변량 분포를 가지는 비모수 회귀를 모델링합니다.
• ReLU 기반 DNN 구현을 사용하여 너비, 깊이 및 매개변수 스케일을 제어하고 f0를 근사합니다.
• 도메인을 초정사각형으로 분할하여 국소 테일러 기반 사다리꼴형 근사를 구성한 후, 최대(x) 집계를 통해 오차 누적을 제어합니다.
• R(Ψ)−f0의 근사 속도: ||R(Ψ)−f0||_{L∞(μ)} = O(W^{−β/d}) with W 매개변수 수.
• 경험적 프로세스 이론과 국소 Rademacher 복잡성을 사용하여 n-의존 속도를 얻는 일반화 경계를 확립: ||f̂ − f0||_{L2(μ)}^2 ≤ C n^{−2β/(2β+d)} 로그 요인을 포함한.
• 도출된 속도가 거의 최적임을 보이는 minimax 하한: inf f̂ sup (… ) ≥ C′ n^{−2β/(2β+d)}.]
• research_questions 문장 전체를 1:1로 한국어로 번역합니다.

실험 결과

연구 질문

• RQ1 데이터의 고유 Minkowski 차원 지배가 DNN 근사 및 일반화의 수렴 속도를 좌우합니까?
• RQ2 데이터가 저차원(가능하면 비매끄러운) 집합에 놓일 때 DNN이 전통적인 고차원 경계보다 더 빠른 속도를 달성할 수 있습니까?
• RQ3 Hölder-스무스 대상에 대해 속도가 고유 차원 d에 의존하는 것이 minimax 최적인가요?
• RQ4 일반적인 고유 차원 구조 하에서 DNN이 커널/가우시안 프로세스 추정기에 비해 이점을 보이나요?
• RQ5 제안된 속도를 달성하기 위해 finite-depth DNN이 충분합니까?

주요 결과

• 근사 오차는 W^{−β/d}로 스케일링되며 d는 Minkowski 고유 차원이고 주변 차원 D가 아님.
• 일반화 오차는 n^{−2β/(2β+d)}(로그 요인 포함)으로 스케일링되며 주변 차원 D에 독립적입니다.
• 로그 요인까지 포함한 일치하는 하한으로 minimax 최적임이 보였습니다.
• DNN은 비평활한 프랙탈 유사 지원을 포함한 일부 적응 추정기보다 더 넓은 고유 저차원 데이터 클래스를 처리할 수 있습니다.
• 수치 시뮬레이션이 이론 속도를 확인하고 고유 차원 축소가 성능에 미치는 영향을 보여줍니다.