[論文レビュー] Advantage of Deep Neural Networks for Estimating Functions with Singularity on Hypersurfaces

Masaaki Imaizumi, Kenji Fukumizu|arXiv (Cornell University)|Nov 4, 2020

Machine Learning in Materials Science被引用数 12

ひとこと要約

この論文は、深層ニューラルネットワーク（DNNs）が、滑らかでない関数の推定において、特異性を持つ超曲面上でほぼミニマックス最適の収束レートを達成することを示している。これは、カーネル法やガウス過程推定器といった標準的な非パラメトリック手法が性能を発揮できない分野である。DNNの階層的・多層構造が、特に超曲面の滑らかさと関数の正則性が段階的転移領域でバランスを取る場合に、特異性の幾何的特徴を効率的に捉えることにより、この利点が生じる。

ABSTRACT

We develop a minimax rate analysis to describe the reason that deep neural networks (DNNs) perform better than other standard methods. For nonparametric regression problems, it is well known that many standard methods attain the minimax optimal rate of estimation errors for smooth functions, and thus, it is not straightforward to identify the theoretical advantages of DNNs. This study tries to fill this gap by considering the estimation for a class of non-smooth functions that have singularities on hypersurfaces. Our findings are as follows: (i) We derive the generalization error of a DNN estimator and prove that its convergence rate is almost optimal. (ii) We elucidate a phase diagram of estimation problems, which describes the situations where the DNNs outperform a general class of estimators, including kernel methods, Gaussian process methods, and others. We additionally show that DNNs outperform harmonic analysis based estimators. This advantage of DNNs comes from the fact that a shape of singularity can be successfully handled by their multi-layered structure.

研究の動機と目的

• 深層ニューラルネットワーク（DNNs）が滑らかでない回帰設定における標準的非パラメトリック推定器に対して理論的にどのような利点を示すかを特定すること。
• 滑らかな超曲面上に特異性を持つ関数を推定する際の、DNNの一般化誤差のミニマックス最適レートを分析すること。
• DNNがカーネル法、ガウス過程、および調和解析に基づく推定器を上回る条件を特定すること。
• DNNが優れた収束レートを達成するパrameter領域（超曲面の滑らかさαと関数の滑らかさβ）を特定するフェーズダイアグラムを確立すること。

提案手法

• 本研究は、関数クラス $\mathcal{F}_{\alpha,\beta,M}^{PS}$ に属する関数に対する最小二乗DNN推定器 $\widehat{f}^{DL}$ を分析している。この関数クラスは、$M$ 個の部分的に $\alpha$ 回微分可能な超曲面上を除き、$\beta$ 回微分可能である。
• 期待 $L^2$ 一般化誤差 $\mathbb{E}[\|\widehat{f}^{DL}-f^*\|_{L^2(P_X)}^2] = \widetilde{O}(\max\{n^{-2\beta/(2\beta+D)}, n^{-\alpha/(α+D-1)}\})$ を導出し、近似的に最適性を示している。
• ミニマックスリスク理論を用いて、DNNと線形推定器（カーネル法、ガウス過程、調和解析に基づく手法）を比較している。
• $(\alpha, \beta)$-平面上にフェーズダイアグラムを構築し、DNNが他の推定器を上回る領域を特定している。$D=5$ の場合、臨界線は $\alpha = \frac{2\beta(D-1)}{D-2\beta}$ である。
• 非滑らか活性化関数を含まない滑らかなDNNですら、特異性を持つ関数を効果的に推定できることを示しており、これは多層構造が幾何的特異性を捉える能力に起因する。
• ウェーブレットに基づく関数表現とフーリエ解析を用いて、調和解析に基づく推定器の推定誤差の下界を導出し、特異的領域ではその非最適性を示している。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワーク推定器が、超曲面上に特異性を持つ関数に対して、標準的非パラメトリック推定器よりも速い収束レートを達成する条件は何か？
• RQ2 超曲面の滑らかさ（$\alpha$）と各領域内での関数の滑らかさ（$\beta$）が、DNNのミニマックスレートにどのように影響するか？
• RQ3 なぜDNNは、超曲面上に特異性を持つ関数を推定する際、カーネル法、ガウス過程、および調和解析に基づく推定器を上回るのか？
• RQ4 非滑らか活性化関数を含まない滑らかなDNNでも、滑らかでない関数に対してほぼミニマックスレートを達成できるのか？ もしそうなら、その理由は何か？
• RQ5 $(\alpha, \beta)$-パラメータ空間における段階的転移行動は、DNNが優位となる領域とそうでない領域を分ける境界をどのように特定するか？

主な発見

• DNN推定器は、$\widetilde{O}(\max\{n^{-2\beta/(2\beta+D)}, n^{-\alpha/(α+D-1)}\})$ の一般化誤差を達成し、超曲面上に特異性を持つ関数に対してほぼミニマックス最適である。
• DNNの収束レートは、超曲面が滑らかになる（$\alpha$ が大きい）か、関数がより正則性を持つ（$\beta$ が大きい）ほど向上し、レートは二つの項のうち遅い方で支配される。
• パrameterペア $(\alpha, \beta)$ がフェーズダイアグラムにおいて臨界線 $\alpha = \frac{2\beta(D-1)}{D-2\beta}$ の上にある場合、DNNはカーネル法、ガウス過程、および調和解析に基づく推定器を上回る。
• 非滑らか活性化関数を含まない滑らかなDNNでも、特異性を持つ関数を、階層的構造のおかげで劣化せずに効果的に推定できる。
• 調和解析に基づく推定器の下界を確立し、2次元例では誤差率が $\Omega(n^{-1/3})$ であるのに対し、DNNは $O(n^{-1/2})$ を達成することを示しており、特異的領域におけるDNNの優位性を実証している。
• $(\alpha, \beta)$-平面上の段階的転移は、DNNの利点が超曲面が比較的滑らかで、関数が中程度に滑らかである場合に顕著に現れることを示しており、実世界の画像エッジ検出タスクと整合的である。