[論文レビュー] Deep Nonparametric Regression on Approximate Manifolds: Non-Asymptotic Error Bounds with Polynomial Prefactors

Yuling Jiao, Guohao Shen+2 more|arXiv (Cornell University)|Apr 14, 2021

Topological and Geometric Data Analysis参考文献 94被引用数 11

ひとこと要約

この論文は、低次元多様体仮定の下で深層ニューラルネットワーク回帰の非漸近的誤差バウンドを確立し、次元に多項式的依存を示す一方で指数的依存を避けることで、予測誤差がミニマックス最適レートに達することを示している。ReLUネットワークに対する新しい近似誤差バウンドを導入し、ネットワーク相対効率を定義してアーキテクチャを比較し、データが低次元多様体上またはその近傍にある場合に深層ネットワークが次元の呪いを克服できることを証明している。

ABSTRACT

We study the properties of nonparametric least squares regression using deep neural networks. We derive non-asymptotic upper bounds for the prediction error of the empirical risk minimizer of feedforward deep neural regression. Our error bounds achieve minimax optimal rate and significantly improve over the existing ones in the sense that they depend polynomially on the dimension of the predictor, instead of exponentially on dimension. We show that the neural regression estimator can circumvent the curse of dimensionality under the assumption that the predictor is supported on an approximate low-dimensional manifold or a set with low Minkowski dimension. We also establish the optimal convergence rate under the exact manifold support assumption. We investigate how the prediction error of the neural regression estimator depends on the structure of neural networks and propose a notion of network relative efficiency between two types of neural networks, which provides a quantitative measure for evaluating the relative merits of different network structures. To establish these results, we derive a novel approximation error bound for the Hölder smooth functions with a positive smoothness index using ReLU activated neural networks, which may be of independent interest. Our results are derived under weaker assumptions on the data distribution and the neural network structure than those in the existing literature.

研究の動機と目的

• 入力次元に対して多項式的依存でスケーリングする非漸近的予測誤差バウンドを、深層非パラメトリック回帰におけるReLUネットワークの推定誤差に確立すること。
• 予測子が低次元多様体または低Minkowski次元集合にサポートされている場合に、深層ニューラルネットワークが次元の呪いを回避できることを示すこと。
• ReLU活性化関数を用いた順方向伝播ネットワークを用いて、Hölder滑らか関数の新しい近似誤差バウンドを導出すること。
• ネットワーク相対効率の概念を導入・形式化し、異なるニューラルネットワーク構造を定量的に比較すること。
• 先行研究と比較して、データ分布およびネットワークアーキテクチャに関する仮定を弱めるものとし、より広範な適用可能性を実現すること。

提案手法

• ReLUネットワークを用いた深層非パラメトリック回帰における、経験的リスク最小化器の非漸近的上界を導出する。
• 幅と深さを制御したReLU活性化関数を用いた順方向伝播ネットワークを用いて、Hölder滑らか関数に対する新しい近似誤差バウンドを確立する。
• 高次元データを低次元空間に埋め込むためにランダム射影を用い、ペairワイズ距離を歪度δ以内に保つようにする。
• εエントロピーを用いたJohnson-Lindenstrauss型集中不等式を適用し、埋め込み次元d₀を内在次元d*の関数として制御する。
• 近似誤差と推定誤差の項を組み合わせ、次元に多項式的係数を含む合成リスクバウンドを導出する。
• 同じパラメータ予算下で異なるネットワークアーキテクチャの収束レートを比較可能なネットワーク相対効率の概念を導入する。

実験結果

リサーチクエスチョン

• RQ1 低次元多様体仮定の下で、深層ニューラルネットワーク回帰は次元に多項式的依存でスケーリングするミニマックス最適収束レートに達することができるか？
• RQ2 高次元におけるHölder滑らか関数に対して、ReLUネットワークの近似誤差はどのようにスケーリングするか？
• RQ3 ネットワークアーキテクチャ（幅、深さ、パラメータ数）と非パラメトリック回帰における予測誤差の関係は何か？
• RQ4 収束速度の観点から、異なるニューラルネットワーク構造の効率をどのように定量的に比較できるか？
• RQ5 非パラメトリック回帰において、深層ネットワークがどのような条件下で次元の呪いを克服できるか？

主な発見

• 深層ニューラルネットワーク推定器の予測誤差は、d₀が内在次元であるとして、n^{-2β/(2β + d₀)}に比例する項で有界であり、低次元多様体上でのサポート下でミニマックス最適レートに達する。
• 誤差バウンドは、環境次元dに対して多項式的依存を示し、具体的にはd^{1/2}d₀^{⌊β⌋ + (β∨1+1)/2}と表現され、指数的依存とは異なり、次元の呪いを緩和する。
• Hölder滑らか関数に対する新しい近似誤差バウンドが導出され、ネットワークサイズN×Mに対して誤差が(NM)^{-2β/d₀}の速度で減少することを示している。
• 提案されたネットワーク相対効率指標により、異なるネットワークタイプの効率を定量的に比較可能となり、同じパラメータ予算下でより深いまたはより広いアーキテクチャがより効率的であることが示された。
• 先行研究と比較して、データ分布およびネットワーク構造に関する仮定を弱めたため、実用的応用への適合性が向上した。
• 理論的枠組みは、ランダム射影理論とεエントロピーに基づく集中不等式の組み合わせにより妥当性が裏付けられており、高次元設定下でも頑健性を確保している。