[論文レビュー] Estimation of a function of low local dimensionality by deep neural networks

Michael Köhler, Adam Krzyżak+1 more|arXiv (Cornell University)|Aug 29, 2019

Statistical Methods and Inference被引用数 4

ひとこと要約

この論文は、高次元データにおける局所的低次元構造を活用することで、深層ニューラルネットワーク（DNN）が非パラメトリック回帰において最適な収束速度に到達できることを示している。局所次元 $d^*$ に適応するDNNベースの推定器を構築することで、収束速度が $n^{-2p/(2p+d^*)}$ に達することを示しており、$d^* \ll d$ の場合に次元の呪いを効果的に回避している。この手法は、Bスプラインを用いた区分的多項式近似と階層的分割を用い、局所的低次元依存性を持つ関数をモデル化している。

ABSTRACT

Deep neural networks (DNNs) achieve impressive results for complicated tasks like object detection on images and speech recognition. Motivated by this practical success, there is now a strong interest in showing good theoretical properties of DNNs. To describe for which tasks DNNs perform well and when they fail, it is a key challenge to understand their performance. The aim of this paper is to contribute to the current statistical theory of DNNs. We apply DNNs on high dimensional data and we show that the least squares regression estimates using DNNs are able to achieve dimensionality reduction in case that the regression function has locally low dimensionality. Consequently, the rate of convergence of the estimate does not depend on its input dimension $d$, but on its local dimension $d^*$ and the DNNs are able to circumvent the curse of dimensionality in case that $d^*$ is much smaller than $d$. In our simulation study we provide numerical experiments to support our theoretical result and we compare our estimate with other conventional nonparametric regression estimates. The performance of our estimates is also validated in experiments with real data.

研究の動機と目的

• 高次元データに局所的低次元構造を示す場合に、深層ニューラルネットワークがなぜ優れた性能を発揮するかを説明する理論的枠組みを構築すること。
• 非パラメトリック回帰における次元の呪いの問題を、グローバルな入力次元 $d$ の代わりに局所次元 $d^*$ を用いることで解決すること。
• 回帰関数に局所的低次元構造がある場合に、DNNが最適な収束速度 $n^{-2p/(2p+d^*)}$ を達成できることを確立すること。
• 画像認識や音声認識などのタスクにおいて、データがしばしば局所的低次元多様体を示すという経験的事実に対する理論的裏付けを提供すること。

提案手法

• Bスプライン基底関数を用いた区分的多項式近似に基づくDNNベースの回帰推定器を構築する。
• 入力空間を、回帰関数が高々 $d^*$ 個の変数に依存する領域に階層的に分割し、局所的低次元構造を活用する。
• 局所的領域の指示関数を表現するために切り捨てられたBスプライン基底関数 $B_{k,j}^{(trunc)}$ を用い、区分的近似を可能にする。
• 各局所的成分 $f_k(x_{J_k})$ は、$d^*$ 次元部分空間上のテンソル積Bスプライン $B_{{\mathbf{j}},M,{\mathbf{t}}}$ を用いて近似される。
• 最終的なDNN推定器は、これらの基底関数の線形結合であり、係数 $\gamma_j$ は $L_2$ 誤差を最小化するように選ばれる。
• この構成により、パラメータ数が $n^{d^*/(2p + d^*)}$ のオーダーに比例するようになり、最適な収束速度が得られる。

実験結果

リサーチクエスチョン

• RQ1 元の関数がグローバルな滑らかさではなく局所的低次元構造を持つ場合、深層ニューラルネットワークは非パラメトリック回帰で最適な収束速度に到達できるか？
• RQ2 DNNに局所的に適応する基底関数を用いることで、$d^* \ll d$ の場合に次元の呪いを回避できるか？
• RQ3 局所的低次元仮定の下で、DNNベースの推定器の理論的収束速度は何か？
• RQ4 DNN推定器の近似誤差は、局所次元 $d^*$ と滑らかさ $p$ にどのように依存するか？
• RQ5 提案手法は、スパarsityを持つ局所的構造を示す高次元設定において、従来の非パラメトリック推定器を上回る性能を示せるか？

主な発見

• DNNベースの回帰推定器は、収束速度 $n^{-2p/(2p + d^*)}$ を達成しており、これはグローバルな入力次元 $d$ に依存せず、局所次元 $d^*$ にのみ依存するため、次元の呪いを回避している。
• この速度は対数要因を除いて最適であり、$(p,C)$-滑らか関数が $d^*$ 次元多様体上で定義される場合のミニマックス下界と一致する。
• この手法は、$J \sim 2^{K_1} \cdot K_2 \cdot n^{d^*/(2p + d^*)}$ 個の基底関数を用いたDNNを構築しており、局所的成分の上限ノルムに基づいて係数が有界化されている。
• 近似誤差は $c_{46} \cdot K_2 \cdot n^{-p/(2p + d^*)}$ で抑えられ、$K_1$ と $K_2$ が適切に選ばれていれば $n$ の増加に伴い減少する。
• $L_2$ リスクは $c_{50} \cdot 2^{K_1} \cdot K_2 \cdot n^{-2p/(2p + d^*)}$ で抑えられ、与えられた仮定の下でこの速度が達成可能であることが確認された。
• 数値実験および実データの検証により、DNN推定器が高次元かつ局所的低次元構造を持つ設定で、従来の非パラメトリック手法を上回ることが確認された。