[論文レビュー] The universal approximation power of finite-width deep ReLU networks

Dmytro Perekrestenko, Philipp Grohs+2 more|arXiv (Cornell University)|Jun 5, 2018

Sparse and Compressive Sensing Techniques参考文献 11被引用数 15

ひとこと要約

この論文は、有限幅の深層ReLUネットワークが、多様な関数クラス—多項式、窓付き正弦波、振動するテクスチャ、および至るところ微分不能なワイエルシュトラス関数—に対して、逆誤差の対数的スケーリングを実現する深さを活用することで、指数的誤差減少を達成することを示している。主な貢献は、滑らかな関数を近似する際、有限幅の深層ネットワークが有限深さの広いネットワークよりも接続性が著しく小さいことを証明したことである。これは、近似効率における深さの根本的利点を確立するものである。

ABSTRACT

We show that finite-width deep ReLU neural networks yield rate-distortion optimal approximation (Bölcskei et al., 2018) of polynomials, windowed sinusoidal functions, one-dimensional oscillatory textures, and the Weierstrass function, a fractal function which is continuous but nowhere differentiable. Together with their recently established universal approximation property of affine function systems (Bölcskei et al., 2018), this shows that deep neural networks approximate vastly different signal structures generated by the affine group, the Weyl-Heisenberg group, or through warping, and even certain fractals, all with approximation error decaying exponentially in the number of neurons. We also prove that in the approximation of sufficiently smooth functions finite-width deep networks require strictly smaller connectivity than finite-depth wide networks.

研究の動機と目的

• 深層ReLUネットワークの普遍的近似性がアフィン関数クラスを超えて拡張されるかどうかを調査すること。
• 有限幅の深層ネットワークが、多項式やフラクタルのような非アフィンで複雑な信号構造に対して、レート・リダンドシー・最適な近似を達成できるかどうかを特定すること。
• 滑らかで振動する関数を近似する際、接続性の要件を比較することで、深さが幅よりも優位であることを形式化すること。
• 逆誤差の対数的スケーリングにおいて、有限幅と多対数的深さスケーリングを用いて指数的誤差減少が達成可能であることを確立すること。
• 滑らかな関数を近似する際、有限幅の深層ネットワークが有限深さの広いネットワークよりも接続性が優れていることを実証すること。

提案手法

• 乗算および多項式関数を近似するために、鋸歯状関数とその反復合成を用いたReLUネットワークの構築。
• x²の近似に再帰的ネットワークアーキテクチャを適用し、重みは有界かつ深さをO(log(1/ϵ))のスケーリングで制御。
• 合成および線形結合技術を用いて、多変数および高次多項式への多項式近似の拡張。
• 窓付き正弦波によるコサイン関数の近似を活用し、振動するテクスチャおよびフラクタル関数をモデル化。
• ヤロツキーの構成を活用し、多項式の次数に依存しない有限幅を維持するように修正。
• ワイエルシュトラス関数を近似するネットワークが、深さをO((log(1/ϵ))³)にスケーリングして指数的誤差減少を達成することを証明。

実験結果

リサーチクエスチョン

• RQ1 有限幅の深層ReLUネットワークは、多項式やフラクタルのような非アフィン関数クラスに対し、指数的近似誤差減少を達成できるか？
• RQ2 滑らかで振動する関数を近似する際、深さが幅よりも接続性の観点で根本的に優位であるか？
• RQ3 窓付き正弦波関数および振動するテクスチャの近似が、有限幅の深層ネットワークと指数的誤差減少で達成可能か？
• RQ4 至るところ微分不能なフラクタルであるワイエルシュトラス関数は、有限幅の深層ReLUネットワークによって指数的精度で近似可能か？
• RQ5 滑らかな関数を近似する際、有限幅の深層ネットワークが有限深さの広いネットワークよりも最小限の接続性を要するか？

主な発見

• 有限幅の深層ReLUネットワークは、多項式に対して指数的近似誤差減少を達成し、深さスケーリングがO(log(1/ϵ))、重みは多項式の次数に依存せず有界である。
• 窓付き正弦波関数および振動するテクスチャの近似が、有限幅の深層ネットワークを用いて指数的誤差減少で達成可能であり、コサイン関数の近似を活用している。
• 連続的だが至るところ微分不能なフラクタルであるワイエルシュトラス関数は、深層ReLUネットワークによって指数的精度で近似可能であり、深さスケーリングがO((log(1/ϵ))³)である。
• ワイエルシュトラス関数Wp,a(x)に対して、ネットワークは深さL ≤ C1(log(1/ϵ))³ + C2(log(1/ϵ))² log(⌈a⌉) + C3 log(1/ϵ) log(D) を満たし、重みはC4で有界であり、∥ΨWp,a,D,ϵ − Wp,a∥L∞[−D,D] ≤ ϵ を達成する。
• C³関数を近似する際、有限幅の深層ネットワークは有限深さの広いネットワークよりも厳密に少ない接続性を要する。これは、M = π(log(1/ϵ)) かつLを固定したネットワークに対して、下界 ∥f − Φ∥L∞[a,b] ≥ ϵ が成り立つことによって示された。
• 深層ReLUネットワークによる局所的コサイン基底の近似が指数的誤差減少を達成し、この手法が調和解析的構造への適用可能性を確認した。