[論文レビュー] Analysis of Deep Neural Networks with Quasi-optimal polynomial approximation rates

Joseph Daws, Clayton Webster|arXiv (Cornell University)|Dec 4, 2019

Neural Networks and Applications参考文献 15被引用数 4

ひとこと要約

本稿では、多項式基底展開を用いて、高次元関数に対して準最適な近似レートを達成する深層ニューラルネットワーク（DNN）を構築する。正確な係数値に依存するのではなく、多項式係数の上限を活用することで、M（項の数）に関して指数的より速い誤差減少が達成され、Mにおける代数的複雑度を有する。これは、ややきめの滑らかさ仮定の下で、最良のM項多項式近似と同等の性能を示す。

ABSTRACT

We show the existence of a deep neural network capable of approximating a wide class of high-dimensional approximations. The construction of the proposed neural network is based on a quasi-optimal polynomial approximation. We show that this network achieves an error rate that is sub-exponential in the number of polynomial functions, $M$, used in the polynomial approximation. The complexity of the network which achieves this sub-exponential rate is shown to be algebraic in $M$.

研究の動機と目的

• 高次元関数を近似するDNNの存在を確立し、その誤差レートが準最適なM項多項式近似と一致することを示すこと。
• 正確な係数値に依存しない多項式近似理論に基づく、DNNを構築するための構成的技法を開発すること。
• 近似誤差と計算複雑度（M、多項式項の数）をMの関数として分析すること。
• 古典的近似理論と深層学習を結びつけることにより、DNNが多項式展開の収束レートを継承できることを示すこと。

提案手法

• ネットワークのアーキテクチャは、インデックス集合 ΛM に属する各多項式基底関数 Ψν を近似するサブネットワークから構成される。
• 各サブネットワーク Ũν は、仮定2に基づく係数推定値の上限を用いた構成的アプローチにより、テンソル積多項式 Ψν を近似する。
• 三角不等式を用いて誤差を上限づける：||u - uNN|| ≤ ||u - uΛM|| + ||uΛM - uNN||。第1項は準最適な多項式近似理論により制御される。
• 各サブネットワーク Ũν の複雑度と深さは、係数の減少関数 b(ν) を用いた対数的推定値により上限づけられ、全体のネットワーク複雑度は O(M^{2/d + 1}) に比例する。
• 最終的なネットワーク uNN は、M 個のこのようなサブネットワークを組み合わせ、各々の出力を合算する最終層を用いる。
• すべての係数 cν に対して一様な上限 b(ν) を用いることで、正確な係数計算を必要とせず、誤差制御が可能になる。

実験結果

リサーチクエスチョン

• RQ1 高次元関数に対して、準最適なM項多項式近似と同等の近似誤差率を達成するDNNを構築できるか？
• RQ2 このようなDNNの計算複雑度（深さとサイズ）は、多項式項の数Mの関数としてどのように変化するか？
• RQ3 多項式係数の減少率（関数 b(ν) で定量化）は、ネットワークの誤差にどのように影響するか？
• RQ4 正確な多項式係数の知識が不要な状況でも、ネットワークを構築できるか？
• RQ5 得られたDNNは、元の多項式近似の指数的より速い収束レートを継承できるか？

主な発見

• 構築されたDNNは、Mに関して指数的より速い誤差減少を達成し、準最適なM項多項式近似の最良のレートと一致する誤差上限を持つ。
• ネットワーク全体の複雑度は O(M^{2/d + 1}) に比例する。これはMに関して代数的であり、高次元性に対しても実用的であることを保証する。
• ネットワークの深さは O(M^{1/d} log M) に比例し、多項式的ではなく、中程度のMに対しては管理可能である。
• 正確な係数値の計算を必要とせず、係数 cν の上限 b(ν) を用いることで、係数が計算困難な問題に対しても適用可能である。
• 誤差上限は三角不等式を用いて導出され、第1項は既知の準最適な多項式近似理論により制御され、第2項はサブネットワークの構築により上限づけられる。
• 構築は完全に明示的である：すべてのネットワークパラメータ（重みとバイアス）は、準最適インデックス集合 ΛM と係数の上限に基づいて定義される。