[論文レビュー] Error bounds for approximations with deep ReLU networks

Dmitry Yarotsky|arXiv (Cornell University)|Oct 3, 2016

Neural Networks and Applications被引用数 7

ひとこと要約

この論文は、Sobolev空間における深層ReLUネットワークの近似複雑度について、厳密な上界と下界を確立し、滑らかな関数を近似する際、深層ネットワークが浅層ネットワークを著しく上回ることを示している。深さ6の適応的ReLUネットワークは、1次元リプシッツ関数を複雑度 $ O(1/(\epsilon \epsilon)) $ で近似可能であり、標準的な浅層アーキテクチャーよりも優れており、非線形幅理論からの古典的下界に挑戦する。

ABSTRACT

We study expressive power of shallow and deep neural networks with piece-wise linear activation functions. We establish new rigorous upper and lower bounds for the network complexity in the setting of approximations in Sobolev spaces. In particular, we prove that deep ReLU networks more efficiently approximate smooth functions than shallow networks. In the case of approximations of 1D Lipschitz functions we describe adaptive depth-6 network architectures more efficient than the standard shallow architecture.

研究の動機と目的

• 深層ReLUネットワークの表現力がSobolev空間において浅層ネットワークと比べてどの程度であるかを定量化すること。
• 固定型対適応型、深さ制約といったアーキテクチャ選択が近似複雑度に与える影響を分析すること。
• $ \mathcal{W}^{n,\infty}([0,1]^d) $ に属する関数を近似する際のネットワーク複雑度に対するタイトな上界と下界を確立すること。
• 連続的選択対不連続的選択における重み選択が近似効率に与える影響を調査すること。
• 滑らかな活性化関数を用いた浅層ネットワークと比較して、深層ReLUネットワークの近似複雑度を評価すること。

提案手法

• 深さ、幅、重み数を複雑度指標とするReLUネットワークモデルの形式化。
• 連続的区分線形活性化関数であれば、ReLUに置き換え可能であり、複雑度に定数因子しか与えないことの証明（命題1）。
• $ x^2 $ の近似と近似乗算の実装のための深さ$ O(\ln(1/\epsilon)) $ のネットワーク構築（命題2–3）。
• 1次元リプシッツ関数を近似する深さ6の適応的ReLUネットワークアーキテクチャを設計し、複雑度 $ O(1/(\epsilon \ln(1/\epsilon))) $ を達成（定理2）。
• 連続的重み選択下での下界を導出するために、連続的非線形幅の手法を適用（第4.1節）。
• 不連続的重み選択とブール回路理論にインspiredされたサブネットワーク再利用技術を用いて、上界を改善（定理2）。

実験結果

リサーチクエスチョン

• RQ1 Sobolev空間に属する関数に対して、深層ReLUネットワークの近似複雑度は浅層ネットワークと比べてどの程度か？
• RQ2 適応的ネットワークアーキテクチャは、固定型アーキテクチャと比較して、近似複雑度を著しく低減できるか？
• RQ3 1次元リプシッツ関数をReLUネットワークで近似するための最小深さと複雑度は何か？
• RQ4 不連続的重み選択は、連続的選択に比べて近似効率をどの程度向上できるか？
• RQ5 滑らかな活性化関数を用いた浅層ネットワークと比較して、深層ReLUネットワークの近似バウンドはどの程度か？

主な発見

• 深層ReLUネットワークは、$[0,1]^d$ 上の $ C^n $-関数を複雑度 $ O(\epsilon^{-d/n} \ln(1/\epsilon)) $ で近似可能であり、滑らかな浅層ネットワークの既知のバウンドと対数因子を除いて一致する。
• 1次元リプシッツ関数に対して、深さ6の適応的ReLUネットワークは $ O(1/(\epsilon \ln(1/\epsilon))) $ の複雑度を達成し、一般の $ d,n $ に対しては下界 $ \Omega(\epsilon^{-d/(9n)}) $ よりも低いことから、より高い効率性を示している。
• 固定アーキテクチャと連続的重み選択下では、$ \mathcal{W}^{1,\infty}([0,1]) $ の下界は $ \Omega(\epsilon^{-1}) $、上界は $ O(\epsilon^{-1} \ln(1/\epsilon)) $ であり、対数因子を除いてタイトであることが示された。
• 深さが $ O(\ln^p(1/\epsilon)) $ に制限される場合、非制限的重み選択下での下界は $ \Omega(\epsilon^{-d/n} \ln^{-2p-1}(1/\epsilon)) $ であり、上界と対数因子の差異のみである。
• 適応的アーキテクチャ設定下でも、上界と下界の差は依然として大きい：上界は $ O(1/(\epsilon \ln(1/\epsilon))) $、最も良い既知の下界は $ \Omega(\epsilon^{-d/(9n)}) $ であり、改善の余地があることを示している。
• 有限深さアーキテクチャにおけるサブネットワークの再利用により、古典的非線形幅バウンドを下回る複雑度が達成可能であり、深層ネットワークにおけるアーキテクチャ的適応性の利点を示している。