[論文レビュー] Neural networks and rational functions

Matus Telgarsky|arXiv (Cornell University)|Jun 11, 2017

Neural Networks and Applications参考文献 13被引用数 22

ひとこと要約

この論文は、近似効率の観点から、ReLUニューラルネットワークと有理関数の間できわめて緊密な同等性を確立している：両者とも、1/ε の対数関数の多項式に比例するサイズの表現を用いて互いに近似可能である。一方、多項式は 1/ε の多項式に比例する次数を必要とする。主な結果は、有理関数がReLUネットワークを効率的に近似できることを示しているが、ネットワークの深さに起因して、有理関数の次数に指数的依存が生じることを示しており、これは深さに依存する下界構築により、タイトであることが証明されている。

ABSTRACT

Neural networks and rational functions efficiently approximate each other. In more detail, it is shown here that for any ReLU network, there exists a rational function of degree $O( ext{polylog}(1/ε))$ which is $ε$-close, and similarly for any rational function there exists a ReLU network of size $O( ext{polylog}(1/ε))$ which is $ε$-close. By contrast, polynomials need degree $Ω( ext{poly}(1/ε))$ to approximate even a single ReLU. When converting a ReLU network to a rational function as above, the hidden constants depend exponentially on the number of layers, which is shown to be tight; in other words, a compositional representation can be beneficial even for rational functions.

研究の動機と目的

• ReLUニューラルネットワークの表現力を、近似可能でかつそれ自身を近似可能な関数クラスを同定することで、より精細に特徴づけること。
• 有理関数（分母が正の多項式の比）が、ReLUネットワークの自然で効率的な双対的対応であることを示すこと。
• ReLUネットワークを有理関数で近似する際に、深さに依存する指数的爆発が生じることを示し、それがタイトであることを証明すること。
• そもそも、有理関数に対しても、合成的ニューラルネットワーク表現は、標準的な有理関数表現よりも優位性を示すことを強調すること。

提案手法

• サイズ O(poly(log(1/ε))) の任意のReLUネットワークを、ε-一様誤差で近似する有理関数を、次数 O(poly(log(1/ε))) で構築する。
• 区間分割と接線/線形近似を用いて、有理関数の区分的アフィン近似による誤差を、部分区間ごとに制限する。
• 2k層、1層あたり2ノードの近似が難しいReLUネットワークを用いて、深さ依存の下界を導出し、2^{k-2} 未満の項をもつ任意の有理関数は、[0,1] 上で L1 誤差 ≥1/64 を有することを示す。
• 有理関数の活性化関数を用いたニューラルネットワーク（有理関数ネットワーク）を導入し、ReLUネットワークが有理関数で近似可能であることを示す。この場合、次数は O(log²(l/ε)) にまで抑えられる。
• 1/x における凸性と2階微分の下界（f'' ≥ 128/27）を、[1/2, 3/4] 上で用い、アフィン近似の積分誤差下界を導出する。
• 区間分割と長さの閾値（≥1/(8N)）を用いて、誤差が大きい領域を特定し、有意義な部分区間の和を取ることで解析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ReLUネットワークは有理関数によって効率的に近似可能か？そのような近似のサイズ複雑性は？
• RQ2 有理関数はReLUネットワークによっても効率的に近似可能か？深さはこのトレードオフにどのように影響するか？
• RQ3 なぜ有理関数表現は多項式近似よりもReLUネットワークに対して効率的なのか？定量的なギャップは何か？
• RQ4 ReLUネットワークの有理関数近似における深さに依存する指数的依存は避けられないのか？それがタイトであることを証明できるか？
• RQ5 有理関数を近似する際でさえ、合成的ニューラルネットワーク表現は優位性を示すか？

主な発見

• サイズ O(poly(log(1/ε))) のReLUネットワークは、m を1層あたりのノード数、k を層数としたとき、次数 O(ln(k/ε)^k * m^k) の有理関数で近似可能である。
• ReLUネットワークの有理関数近似における深さに依存する指数的依存はタイトである：下界により、2^{k-2} 未満の項をもつ任意の有理関数は、1層あたり2ノードの2k層ReLUネットワークを近似する際、[0,1] 上で L1 誤差 ≥1/64 を有することが示された。
• 多項式は、単一のReLUを近似するのにも Ω(poly(1/ε)) の次数を必要とするが、有理関数は O(poly(log(1/ε))) の次数で達成可能であり、これは非多項式的効率のギャップを示している。
• O(k) 層と O(k) ノードをもち、各ノードが次数 O(k) の有理関数活性化関数を用いる有理関数ネットワークは、分子と分母の合計項数が 2^{k-2} 未満の任意の有理関数では、L1ノルムで 1/128 未満の誤差で近似できない。
• ReLUネットワークから有理関数への変換は、有理関数ネットワークを用いることでより効率的になる：各ReLUを1つの次数 O(log²(l/ε)) の有理関数に置き換えることで、ε-近似が達成される。
• 本論文は、有理関数に対しても、ニューラルネットワーク表現が標準的な有理関数表現よりも顕著な圧縮優位性を示すことを確立しており、これは合成的深さに起因する。