[論文レビュー] Deep ReLU networks overcome the curse of dimensionality for bandlimited functions

Hadrien Montanelli, Haizhao Yang+1 more|arXiv (Cornell University)|Jan 1, 2019

Neural Networks and Applications参考文献 22被引用数 35

ひとこと要約

この論文は、マウレイの定理とチェビシェフ多項式および解析関数の効率的近似を活用することで、一般化されたバンドリミテッド関数に対して深層ReLUネットワークが次元の呪いを克服することを証明している。$L^2$-ノルムにおける精度 $ epsilon$ の近似には、深さ $L = O(\log^2(1/\epsilon))$ およびサイズ $W = O(\epsilon^{-2} \log^2(1/\epsilon))$ が必要であり、単位立方体上でのバンドリミテッド関数に対して次元に依存しない。

ABSTRACT

We prove a theorem concerning the approximation of bandlimited multivariate functions by deep ReLU networks for which the curse of the dimensionality is overcome. Our theorem is based on a result by Maurey and on the ability of deep ReLU networks to approximate Chebyshev polynomials and analytic functions efficiently.

研究の動機と目的

• 高次元関数近似における深層ニューラルネットワークを用いた次元の呪いの問題に取り組む。
• 一般化されたバンドリミテッド関数に対する深層ReLUネットワークの近似能力に関する理論的限界を確立する。
• この関数クラスに対して、次元に依存しない近似レートを達成できることを示す。
• 合成構造と効率的な乗算ネットワークの特徴を活用することで、浅層ネットワークの既存結果を深層アーキテクチャに拡張する。

提案手法

• 関数クラスのエントロピー数を用いて近似誤差を評価するため、マウレイの定理を用いる。
• 2項乗算ユニットの再帰的合成を用いて、多変数単項式 $x_1 \cdots x_d$ を効率的に近似する深層ReLUネットワークを構築する。
• 深さとサイズが逆精度の対数的にスケーリングするネットワークアーキテクチャを採用し、チェビシェフ多項式および解析関数を近似する。
• 単項式の近似を応用して、係数が有界な一般多項式のネットワークを構築する。
• フーリエ変換の積分表現として表されるバンドリミテッド関数の構造を活用し、カーネル関数の近似とネットワーク設計を結びつける。
• 多項式近似と測度依存定数を組み合わせることで、$L^2(B, \mu)$-ノルムにおける誤差限界を導出する。

実験結果

リサーチクエスチョン

• RQ1 深層ReLUネットワークは、高次元におけるバンドリミテッド関数に対して次元の呪いを克服できるか？
• RQ2 与えられた精度 $ epsilon$ でバンドリミテッド関数を近似するための最小の深さとサイズは何か？
• RQ3 この関数クラスにおいて、近似誤差は $ epsilon$ と次元 $d$ に対してどのようにスケーリングされるか？
• RQ4 深層ReLUネットワークは、一般化されたバンドリミテッド関数を定義するカーネル関数 $K(w \cdot x)$ を効率的に近似できるか？
• RQ5 チェビシェフ多項式と解析関数近似は、次元に依存しない誤差限界を達成するために果たす役割は何か？

主な発見

• 深層ReLUネットワークは、一般化されたバンドリミテッド関数に対して、深さ $L = O(\log^2(1/\epsilon))$ およびサイズ $W = O(\epsilon^{-2} \log^2(1/\epsilon))$ を用いて $L^2$-近似誤差 $ epsilon$ を達成でき、次元 $d$ に依存しない。
• 区間 $[-M,M]^d$ 上での積 $x_1 \cdots x_d$ の近似誤差は、深さとサイズが $O(d \log^2(d/\epsilon) + d^2 \log^2 M)$ のネットワークを用いて $ epsilon$ で抑えられる。
• 係数が有界な $n$ 次多項式は、深さとサイズが $O(n \log^2(Cn/\epsilon) + n^2 \log^2 M)$ のネットワークを用いて精度 $ epsilon$ で近似可能である。
• 深層ReLUネットワークによる解析関数およびチェビシェフ多項式の近似は、バンドリミテッド関数の効率的近似器の構築を可能にする。
• 単位立方体 $B = [0,1]^d$ と確率測度 $ mu$ の下で、誤差限界は次元 $d$ に依存しないため、次元の呪いを克服している。
• 理論的枠組みは、近似性能および並列計算性能の観点から、非常に深いネットワークが浅層ネットワークよりも効率的であることを示している。