[論文レビュー] Efficient Approximation of Deep ReLU Networks for Functions on Low Dimensional Manifolds

Minshuo Chen, Haoming Jiang+2 more|arXiv (Cornell University)|Aug 5, 2019

Neural Networks and Applications被引用数 16

ひとこと要約

本稿では、高次元空間に埋め込まれた低次元多様体上での Hölder 関数の非パrametric回帰のための深層ReLUネットワークアーキテクチャを提案する。$ n^{-\frac{2(s+\alpha)}{2(s+\alpha) + d}}\log^3 n $ の高速収束速度を証明し、埋め込み次元 $ D $ よりもはるかに小さい内在次元 $ d $ に適応することを示し、構造的高次元データにおける深層ネットワークの効率性を説明する。

ABSTRACT

Real world data often exhibit low-dimensional geometric structures, and can be viewed as samples near a low-dimensional manifold. This paper studies nonparametric regression of Holder functions on low-dimensional manifolds using deep ReLU networks. Suppose $n$ training data are sampled from a Holder function in $\mathcal{H}^{s,\alpha}$ supported on a $d$-dimensional Riemannian manifold isometrically embedded in $\mathbb{R}^D$, with sub-gaussian noise. A deep ReLU network architecture is designed to estimate the underlying function from the training data. The mean squared error of the empirical estimator is proved to converge in the order of $n^{-\frac{2(s+\alpha)}{2(s+\alpha) + d}}\log^3 n$. This result shows that deep ReLU networks give rise to a fast convergence rate depending on the data intrinsic dimension $d$, which is usually much smaller than the ambient dimension $D$. It therefore demonstrates the adaptivity of deep ReLU networks to low-dimensional geometric structures of data, and partially explains the power of deep ReLU networks in tackling high-dimensional data with low-dimensional geometric structures.

研究の動機と目的

• 低次元多様体上の回帰における深層ReLUネットワークの近似効率を研究すること。
• データが $ \mathbb{R}^D $ に埋め込まれた $ d $ 次元リーマン多様体上にある場合の深層ReLUネットワークの一般化誤差を分析すること。
• 深層ネットワークが内在次元 $ d $ に適応し、古典的手法よりも高速な収束を達成できることを示すこと。
• 高次元データに低次元幾何的構造を示す深層ネットワークの実証的成功の理論的裏付けを提供すること。

提案手法

• 高次元空間 $ \mathbb{R}^D $ に埋め込まれた $ d $ 次元リーマン多様体上での関数に特化した深層ReLUネットワークアーキテクチャを設計すること。
• ReLU層の合成を用いて、多様体上での Hölder 継続関数 $ \mathcal{H}^{s,\alpha} $ を近似すること。
• $ n $ 個の訓練サンプルとサブガウスノイズを用いた経験的リスク最小化器を構築すること。
• 多様体次元 $ d $ の観点から一般化誤差を評価するため、幾何学的および近似理論的道具を適用すること。
• 多様体の等長埋め込みを活用し、ネットワーク学習中に局所幾何を保持すること。
• 収束速度を明示的に内在次元 $ d $ に依存する形で導出すること。

実験結果

リサーチクエスチョン

• RQ1 深層ReLUネットワークは、低次元多様体上の回帰で高速収束速度を達成できるか？
• RQ2 深層ReLUネットワークの収束速度は、内在次元 $ d $ と埋め込み次元 $ D $ のどちらに依存するか？
• RQ3 深層ReLUネットワークは、現実のデータの幾何的構造にどの程度適応できるか？
• RQ4 多様体上での Hölder 関数に対する深層ReLUネットワークが達成可能な最適な一般化誤差率は何か？

主な発見

• 経験的推定器の平均二乗誤差は、$ n^{-\frac{2(s+\alpha)}{2(s+\alpha) + d}}\log^3 n $ の速度で収束する。
• 収束速度は埋め込み次元 $ D $ ではなく、通常ははるかに大きな内在次元 $ d $ に依存する。
• $ d $ が小さくなるほど速度が向上し、低次元幾何的構造への適応が示される。
• この結果は、低次元多様体を持つ高次元データにおける深層ReLUネットワークの有効性を理論的に支持する。
• 対数因子 $ \log^3 n $ は解析上必要であることが示されたが、タイトであるとは限らない。