[论文解读] Adaptive Approximation and Generalization of Deep Neural Network with Intrinsic Dimensionality

Ryumei Nakada, Masaaki Imaizumi|arXiv (Cornell University)|Jul 4, 2019

Neural Networks and Applications参考文献 43被引用 44

一句话总结

本文证明，DNN 的逼近与泛化速率取决于数据的内在闵可夫斯基维度，而非名义的外部维度，并显示极小极大（minimax）最优性及更广泛的适用性。

ABSTRACT

In this study, we prove that an intrinsic low dimensionality of covariates is the main factor that determines the performance of deep neural networks (DNNs). DNNs generally provide outstanding empirical performance. Hence, numerous studies have actively investigated the theoretical properties of DNNs to understand their underlying mechanisms. In particular, the behavior of DNNs in terms of high-dimensional data is one of the most critical questions. However, this issue has not been sufficiently investigated from the aspect of covariates, although high-dimensional data have practically low intrinsic dimensionality. In this study, we derive bounds for an approximation error and a generalization error regarding DNNs with intrinsically low dimensional covariates. We apply the notion of the Minkowski dimension and develop a novel proof technique. Consequently, we show that convergence rates of the errors by DNNs do not depend on the nominal high dimensionality of data, but on its lower intrinsic dimension. We further prove that the rate is optimal in the minimax sense. We identify an advantage of DNNs by showing that DNNs can handle a broader class of intrinsic low dimensional data than other adaptive estimators. Finally, we conduct a numerical simulation to validate the theoretical results.

研究动机与目标

• 激发并形式化内在维度在高维数据中对DNN性能的作用。
• 定义闵可夫斯基维度并将其与数据的内在结构联系起来。
• 推导依赖于内在维度d而非外部维度D的DNN近似和泛化界限。
• 证明所推导速率的极小极大最优性。
• 提供数值仿真以验证理论结果。

提出的方法

• 在 [0,1]^D 上将 f0 置于 Hölder 类，协变量分布的闵可夫斯基维度为 d，建立非参数回归模型。
• 使用带受控宽度、深度与参数尺度的 ReLU 基DNN 实现来近似 f0。
• 将定义域分割成超立方体，以构建局部基于 Taylor 的梯形-type 近似器，然后通过 max(x) 聚合进行组合以控制误差累积。
• 推导近似速率：||R(Ψ)−f0||_{L∞(μ)} = O(W^{−β/d})，其中 W 是参数量。
• 利用经验过程理论和局部 Rademacher 复杂度建立泛化界限，得到关于样本量 n 的速率：||f̂ − f0||_{L2(μ)}^2 ≤ C n^{−2β/(2β+d)} 乘以对数因子。
• 给出极小极大下界，表明该速率近似最优：inf f̂ sup (...) ≥ C′ n^{−2β/(2β+d)}。

实验结果

研究问题

• RQ1 数据的内在闵可夫斯基维度是否决定DNN近似与泛化的收敛速率？
• RQ2 当数据位于低维（可能是非光滑）集合上时，DNN 是否能实现比传统高维界更快的速率？
• RQ3 依赖于内在维度 d 的速率对于 Hölder-光滑目标是否在极小极大意义上最优？
• RQ4 在一般内在维结构下，DNN 是否比核方法/高斯过程估计具有优势？
• RQ5 有限深度的 DNN 是否足以达到所提出的速率？

主要发现

• 近似误差按 W^{−β/d} 尺度，其中 d 为闵可夫斯基内在维度，而非外部维度 D。
• 泛化误差按 n^{−2β/(2β+d)} 尺度（并带对数因子），与外部维度 D 无关。
• 通过匹配下界，表明该速率在对数因子范围内是极小极大最优的。
• DNN 能处理比某些自适应估计器更广泛的内在低维数据类别，包括非光滑的分形状支撑。
• 数值仿真证实理论速率并展示较小内在维度对性能的影响。