[論文レビュー] The Representation Power of Neural Networks: Breaking the Curse of Dimensionality

Moise Blanchard, Mohammed Amine Bennouna|arXiv (Cornell University)|Dec 9, 2020

Machine Learning and Algorithms被引用数 5

ひとこと要約

この論文は、第二混合微分が有界であることで特徴づけられるコロボフ空間の関数を近似する際、浅いおよび深いニューラルネットワークが次元の呪いを打ち破れることを確立している。浅いネットワークではパラメータの複雑さが $O(\epsilon^{-1} \log^{(3d-1)/2}(1/\epsilon))$、深いネットワークでは $O(\epsilon^{-1/2} \log^{(3d-1)/2}(1/\epsilon))$ であり、これらは任意の連続関数近似器が必要とする理論的最小値にほぼ一致する。これにより、ニューラルネットワークがこの関数クラスにおいてほぼ最適であることが証明される。

ABSTRACT

In this paper, we analyze the number of neurons and training parameters that a neural networks needs to approximate multivariate functions of bounded second mixed derivatives -- Korobov functions. We prove upper bounds on these quantities for shallow and deep neural networks, breaking the curse of dimensionality. Our bounds hold for general activation functions, including ReLU. We further prove that these bounds nearly match the minimal number of parameters any continuous function approximator needs to approximate Korobov functions, showing that neural networks are near-optimal function approximators.

研究の動機と目的

• 多変数関数の第二混合微分が有界である場合に、ニューラルネットワークが近似に必要なニューロン数および学習パラメータ数を分析すること。
• 浅いおよび深いニューラルネットワークが、一般的で構造的な関数クラスであるコロボフ空間に対して次元の呪いを克服できるかどうかを特定すること。
• 必要なパラメータ数のタイトな上界および下界を確立し、ニューラルネットワークが関数近似器としてほぼ最適であることを示すこと。
• この関数クラスにおける浅いネットワークと深いネットワークの表現力の違いを比較し、両者が次元に依存しない近似効率を達成できることを示すこと。

提案手法

• 著者らは、関数の可分性と滑らかさを活用して、コンパクトにサポートされたバンプ関数に基づく構成により、コロボフ関数を近似するための基底を構築する。
• 彼らはデヴォーブの連続関数近似器一般理論を適用し、$\epsilon$ 以内の近似に必要なパラメータ数の下界を導出する。
• 浅いネットワークに関しては、ReLU活性化関数を用いた2層ネットワークが、$O(\epsilon^{-1} \log^{(3d-1)/2}(1/\epsilon))$ 個のニューロンおよび $O(\epsilon^{-1/2} \log^{(3d-1)/2}(1/\epsilon))$ 個の学習パラメータでコロボフ関数を近似できることを証明する。
• 深いネットワークに関しては、$\epsilon$ に依存しない深さ $\lceil \log_2 d \rceil + 1$ のネットワークを、$\mathcal{C}^2$ 活性化関数を用いて構築し、$O(\epsilon^{-1/2} \log^{(3d-1)/2}(1/\epsilon))$ 個のニューロンおよびパラメータを達成する。
• 任意の連続関数近似器に対するパラメータ数の下界が $\Theta(\epsilon^{-1/2} \log^{(d-1)/2}(1/\epsilon))$ であることを証明し、ニューラルネットワークの上界とほぼ一致することを示す。
• 近似誤差と基底関数の微分を関連付けるために、ソボレフノルムの制御と補間不等式を用いる。

実験結果

リサーチクエスチョン

• RQ1 浅いニューラルネットワークは、コロボフ空間の関数に対して次元の呪いを打ち破れるか？
• RQ2 深いニューラルネットワークは、コロボフ関数を近似する際、従来の構成よりもパラメータの効率が良いか？
• RQ3 この近似タスクに必要なニューラルネットワークのパラメータ数は、すべての連続関数近似器の中でほぼ最小であるか？
• RQ4 浅いおよび深いネットワークのパラメータの上限が、近似理論からの既知の下限とどのように比較されるか？

主な発見

• 浅いReLUネットワークは、$O(\epsilon^{-1} \log^{(3d-1)/2}(1/\epsilon))$ 個のニューロンおよび $O(\epsilon^{-1/2} \log^{(3d-1)/2}(1/\epsilon))$ 個の学習パラメータで、コロボフ関数を $\epsilon$ の誤差内で近似でき、次元の呪いを打ち破る。
• $\mathcal{C}^2$ 活性化関数を用いた深いネットワークは、浅いネットワークと同等のパラメータ複雑さを達成するが、深さが $\epsilon$ に依存せず、具体的には $\lceil \log_2 d \rceil + 1$ 層である。
• 提案された深いネットワーク構成は、モンタネリとデュの先行研究を改善し、深さを $O(\log(1/\epsilon) \log d)$ から $O(\log d)$ に、ニューロン数を $\log(1/\epsilon)$ の因子だけ削減した。
• 任意の連続関数近似器に対するパラメータ数の下界は $\Theta(\epsilon^{-1/2} \log^{(d-1)/2}(1/\epsilon))$ であり、浅いおよび深いネットワークの上界とほぼ一致するため、近似的最適性が証明される。
• 結果は、ReLU以外の十分に滑らかな活性化関数のクラスに対しても成り立つことが、定理3.9で示されている。
• 解析により、ニューラルネットワークがコロボフ関数に対して有効であるだけでなく、連続関数近似器のクラスの中で理論的にほぼ最適な近似器であることが確認された。