[論文レビュー] Deep learning is adaptive to intrinsic dimensionality of model smoothness in anisotropic Besov space

Taiji Suzuki, Atsushi Nitanda|arXiv (Cornell University)|Oct 28, 2019

Mathematical Approximation and Integration参考文献 60被引用数 24

ひとこと要約

この論文は、非一様Besov空間におけるモデル滑らかさの固有次元性に深層学習が適応することを示している。近似誤差と推定誤差が、入力次元全体ではなく、各方向における滑らかさの平均値にのみ依存することを示しており、これは、ある方向では滑らかで、他の方向では粗いという非一様滑らかさを示すターゲット関数に対して、深層学習が次元の呪いを回避できることを意味する。このような状況では、カーネル法などの線形推定器よりも優れた性能を発揮する。

ABSTRACT

Deep learning has exhibited superior performance for various tasks, especially for high-dimensional datasets, such as images. To understand this property, we investigate the approximation and estimation ability of deep learning on anisotropic Besov spaces. The anisotropic Besov space is characterized by direction-dependent smoothness and includes several function classes that have been investigated thus far. We demonstrate that the approximation error and estimation error of deep learning only depend on the average value of the smoothness parameters in all directions. Consequently, the curse of dimensionality can be avoided if the smoothness of the target function is highly anisotropic. Unlike existing studies, our analysis does not require a low-dimensional structure of the input data. We also investigate the minimax optimality of deep learning and compare its performance with that of the kernel method (more generally, linear estimators). The results show that deep learning has better dependence on the input dimensionality if the target function possesses anisotropic smoothness, and it achieves an adaptive rate for functions with spatially inhomogeneous smoothness.

研究の動機と目的

• 深層学習が理論的課題があるにもかかわらず、画像認識のような高次元タスクで優れた性能を発揮する理由を理解すること。
• 非一様Besov空間における深層学習の近似誤差と推定誤差を分析すること。非一様Besov空間は方向依存の滑らかさをモデル化する。
• ターゲット関数に非一様滑らかさがある場合、深層学習が次元の呪いを回避できることを示すこと。
• この設定における深層学習のミニマックス最適性を確立し、カーネル法などの線形推定器と比較すること。
• 低次元のデータ多様体の仮定を排除し、データの幾何構造ではなく、滑らかさ構造に焦点を当てる。

提案手法

• 分析は、入力次元ごとに滑らかさが異なる非一様Besov空間で行われ、Hölder空間やSobolev空間のような等方的関数クラスを一般化する。
• 著者たちはTemlyakov (1993) とDeVore (1998) の近似理論を用いて、深層ReLUネットワークの近似誤差を評価する。
• ReLU活性化関数と重み制約の構造を活用し、覆い数の議論を用いて深層ニューラルネットワークの推定誤差の上限を導出する。
• ネットワーククラスの覆い数はスパarsityと重みの大きさに基づいて評価され、精度とネットワークの深さに関して対数的依存性を示す。
• 鍵となる洞察は、有効次元性が全入力次元ではなく、各方向における滑らかさパラメータの平均に依存することである。
• 深層学習と線形推定器の比較によりミニマックス最適性を確立し、非一様滑らかさ下で優れた収束速度を示す。

実験結果

リサーチクエスチョン

• RQ1 ターゲット関数が方向依存の滑らかさを示す場合、深層学習は次元の呪いを回避できるか？
• RQ2 深層学習の近似誤差と推定誤差は、全入力次元に依存するのではなく、各方向における滑らかさの平均値にのみ依存するか？
• RQ3 非一様滑らかさの設定下で、深層学習の性能はカーネルリッジ回帰などの線形推定器と比べてどうなるか？
• RQ4 非一様Besov空間において、深層学習はミニマックス最適であり、空間的に非一様な滑らかさに対しても適応的レートを達成できるか？
• RQ5 低次元のデータ多様体の仮定をせず、滑らかさ構造に依存する分析が可能か？

主な発見

• 深層学習の近似誤差と推定誤差は、全入力方向の平均滑らかさパラメータにのみ依存し、全次元数には依存しない。
• 深層学習は $\tilde{O}(n^{-\frac{2\widetilde{\beta}}{2\widetilde{\beta}+1}})$ の収束速度を達成する。ここで $\widetilde{\beta}$ は平均滑らかさである。非一様設定下で次元の呪いを回避する。
• この収束速度はミニマックス最適であり、$D \ll d$ のとき、カーネル法の $\tilde{O}(n^{-\frac{2\beta}{2\beta+D}})$ の速度よりも厳密に優れている。
• 本分析では、データが低次元多様体上にあるという仮定を必要とせず、ノイズに強く、従来の研究よりも一般性が高い。
• 深層学習は空間的に非一様な滑らかさに適応でき、ミニマックスリスクの観点で非適応的線形推定器を上回る。
• 深層ReLUネットワークの覆い数は $\log \mathcal{N} \leq 2SL\log((B\vee 1)(W+1)) + S\log(\delta^{-1}L)$ で上限が与えられ、タイトな一般化境界の導出を可能にする。