[論文レビュー] Nonparametric Regression on Low-Dimensional Manifolds using Deep ReLU Networks

Minshuo Chen, Haoming Jiang+2 more|arXiv (Cornell University)|Aug 5, 2019

Generative Adversarial Networks and Image Synthesis参考文献 52被引用数 10

ひとこと要約

本稿では、高次元空間に埋め込まれた低次元多様体上での Hölder 関数の非パラメトリック回帰を目的とした、深層 ReLU ニューラルネットワークのアーキテクチャを提案する。平均二乗誤差の収束速度が $ n^{-rac{2(s+eta)}{2(s+eta) + d}} ext{log}^3 n $ であることを証明し、深層ネットワークが内因的次元 $ d $ に適応できることを示し、環境次元 $ D $ が大きくても高速な収束を達成できることを示している。

ABSTRACT

Real world data often exhibit low-dimensional geometric structures, and can be viewed as samples near a low-dimensional manifold. This paper studies nonparametric regression of H\older functions on low-dimensional manifolds using deep ReLU networks. Suppose $n$ training data are sampled from a H\older function in $\mathcal{H}^{s,\alpha}$ supported on a $d$-dimensional Riemannian manifold isometrically embedded in $\mathbb{R}^D$, with sub-gaussian noise. A deep ReLU network architecture is designed to estimate the underlying function from the training data. The mean squared error of the empirical estimator is proved to converge in the order of $n^{-\frac{2(s+\alpha)}{2(s+\alpha) + d}}\log^3 n$. This result shows that deep ReLU networks give rise to a fast convergence rate depending on the data intrinsic dimension $d$, which is usually much smaller than the ambient dimension $D$. It therefore demonstrates the adaptivity of deep ReLU networks to low-dimensional geometric structures of data, and partially explains the power of deep ReLU networks in tackling high-dimensional data with low-dimensional geometric structures.

研究の動機と目的

• 低次元多様体上での Hölder 関数の非パラメトリック回帰を、深層 ReLU ニューラルネットワークを用いて研究すること。
• 高次元空間に埋め込まれた低次元リーマン多様体に近接するデータに対して、深層ネットワークの一般化誤差を分析すること。
• 深層 ReLU ニューラルネットワークが内因的次元 $ d $ に適応できることを示し、環境次元が大きい場合でも古典的手法よりも高速な収束を達成できることを示すこと。
• 高次元データに低次元幾何的構造がある場合の深層ネットワークの経験的成功を理論的に裏付ける根拠を提供すること。

提案手法

• 低次元多様体上での回帰に特化した深層 ReLU ニューラルネットワークのアーキテクチャを設計すること。
• Hölder 関数の滑らかさ $ s+\alpha $ と多様体の内因的次元 $ d $ に応じて、ネットワークの深さと幅をスケーリングすること。
• 多様体の幾何的構造を活用して、元の Hölder 関数を近似するネットワークを構築すること。
• 訓練サンプルにサブガウスノイズが存在する状況において、データに依存する経験的リスク最小化フレームワークを適用すること。
• 近似理論と多様体上での統計的学習の道具を用いて収束速度を証明すること。
• 多様体埋め込みの複雑さを反映する対数因子 $ \text{log}^3 n $ を用いて誤差バウンドを確立すること。

実験結果

リサーチクエスチョン

• RQ1 深層 ReLU ニューラルネットワークは、高次元空間に埋め込まれた低次元多様体上での非パラメトリック回帰において、高速な収束速度を達成できるか？
• RQ2 深層 ReLU ニューラルネットワークの収束速度は、内因的次元 $ d $ と環境次元 $ D $ のどちらに依存するか？
• RQ3 深層 ReLU ニューラルネットワークは、内因的次元が小さいデータの幾何的構造にどの程度適応できるか？
• RQ4 この設定における深層 ReLU ニューラルネットワークの最適収束速度は何か？ また、古典的手法よりも向上するか？
• RQ5 サブガウスノイズの存在が、多様体構造を持つデータに対する深層 ReLU ニューラルネットワークの一般化性能に与える影響は何か？

主な発見

• 経験的推定子の平均二乗誤差は、環境次元 $ D $ ではなく内因的次元 $ d $ に依存するレート $ n^{-\frac{2(s+\alpha)}{2(s+\alpha) + d}}\text{log}^3 n $ で収束する。
• 内因的次元 $ d $ が小さい場合、環境次元 $ D $ が大きくても収束速度が著しく向上する。
• 理論的レートは、深層 ReLU ニューラルネットワークがデータの低次元幾何的構造に適応できることを示し、高次元設定における経験的成功を説明している。
• 対数因子 $ \text{log}^3 n $ は、多様体埋め込みの複雑さとネットワークの近似能力を捉えている。
• この結果は、内因的次元が小さい高次元データに対して深層ネットワークが良好に一般化する理由の一部を説明している。
• 解析により、多様体構造を持つ非パラメトリック回帰における深層 ReLU ニューラルネットワークの有効性の理論的基盤が確立された。