[论文解读] Advantage of Deep Neural Networks for Estimating Functions with Singularity on Hypersurfaces

Masaaki Imaizumi, Kenji Fukumizu|arXiv (Cornell University)|Nov 4, 2020

Machine Learning in Materials Science被引用 12

一句话总结

本文表明，深度神经网络（DNNs）在估计具有超曲面上奇点的非光滑函数时，可实现近乎极小极大最优的收敛速率——这是标准非参数方法（如核方法和高斯过程估计器）无法超越的领域。其优势源于DNN的分层多层结构，能够高效捕捉奇点的几何特征，尤其在超曲面光滑度与函数正则性处于相变区域时表现突出。

ABSTRACT

We develop a minimax rate analysis to describe the reason that deep neural networks (DNNs) perform better than other standard methods. For nonparametric regression problems, it is well known that many standard methods attain the minimax optimal rate of estimation errors for smooth functions, and thus, it is not straightforward to identify the theoretical advantages of DNNs. This study tries to fill this gap by considering the estimation for a class of non-smooth functions that have singularities on hypersurfaces. Our findings are as follows: (i) We derive the generalization error of a DNN estimator and prove that its convergence rate is almost optimal. (ii) We elucidate a phase diagram of estimation problems, which describes the situations where the DNNs outperform a general class of estimators, including kernel methods, Gaussian process methods, and others. We additionally show that DNNs outperform harmonic analysis based estimators. This advantage of DNNs comes from the fact that a shape of singularity can be successfully handled by their multi-layered structure.

研究动机与目标

• 识别深度神经网络（DNNs）在非光滑回归设置下相对于标准非参数估计器的理论优势。
• 分析DNN在估计具有光滑超曲面上奇点的函数时，泛化误差的极小极大最优速率。
• 刻画DNN优于核方法、高斯过程和基于调和分析的估计器的条件。
• 建立一个相图，识别DNN在收敛速率上占优的参数区域（以超曲面光滑度α和函数光滑度β表示）。

提出的方法

• 研究分析了函数类 $\mathcal{F}_{\alpha,\beta,M}^{PS}$ 中的最小二乘DNN估计器 $\widehat{f}^{DL}$，该类函数在 $M$ 个分段 $\alpha$ 次可微的超曲面上除外 $\beta$ 次可微。
• 推导出期望 $L^2$ 泛化误差 $\mathbb{E}[\|\widehat{f}^{DL}-f^*\|_{L^2(P_X)}^2] = \widetilde{O}(\max\{n^{-2\beta/(2\beta+D)}, n^{-\alpha/(α+D-1)}\})$，表明其近乎最优。
• 利用极小极大风险理论，将DNN与线性估计器（包括核方法、高斯过程和基于调和分析的方法）进行比较。
• 在 $(\alpha, \beta)$-平面上构建相图，识别DNN优于其他估计器的区域，其中临界线为 $\alpha = \frac{2\beta(D-1)}{D-2\beta}$（当 $D=5$ 时）。
• 论文证明，即使使用平滑DNN（无非光滑激活函数），也能有效估计非光滑函数，这是由于其多层架构能够捕捉几何奇点。
• 采用小波函数表示和傅里叶分析，推导出基于调和分析的估计器的估计误差下界，表明其在奇异区域表现次优。

实验结果

研究问题

• RQ1 在何种条件下，深度神经网络估计器在具有超曲面奇点的函数估计中，收敛速率快于标准非参数估计器？
• RQ2 超曲面的光滑度（$\alpha$）和函数在各部分的光滑度（$\beta$）如何影响DNN的极小极大速率？
• RQ3 为何DNN在估计具有超曲面奇点的函数时，优于核方法、高斯过程和基于调和分析的估计器？
• RQ4 即使DNN是平滑的（无非光滑激活函数），是否仍能实现接近极小极大的速率来估计非光滑函数？如果是，原因是什么？
• RQ5 在 $(\alpha, \beta)$-参数空间中，DNN占优与不占优的区域之间的相变行为是怎样的？

主要发现

• DNN估计器实现了 $\widetilde{O}(\max\{n^{-2\beta/(2\beta+D)}, n^{-\alpha/(α+D-1)}\})$ 的泛化误差，对于具有超曲面奇点的函数，该结果近乎极小极大最优。
• 当超曲面更光滑（$\alpha$）或函数更规则（$\beta$）时，DNN的收敛速率提升，且速率由两项中较慢者主导。
• 当参数对 $(\alpha, \beta)$ 位于相图中临界线 $\alpha = \frac{2\beta(D-1)}{D-2\beta}$ 之上时，DNN优于标准估计器（包括核方法、高斯过程和基于调和分析的方法）。
• 即使使用平滑DNN（无非光滑激活函数），也能在不损失性能的前提下有效估计具有超曲面奇点的非光滑函数，这归因于其分层结构。
• 论文为基于调和分析的估计器建立了下界，表明其在二维示例中的误差率为 $\Omega(n^{-1/3})$，而DNN可达到 $O(n^{-1/2})$，从而证明了DNN在奇异区域的优越性。
• 在 $(\alpha, \beta)$-平面上的相变行为表明，当超曲面相对光滑且函数中等光滑时，DNN的优势最为显著，这与真实世界中的图像边缘检测任务相吻合。