[論文レビュー] Random ReLU Features: Universality, Approximation, and Composition.

Yitong Sun, Anna C. Gilbert+1 more|arXiv (Cornell University)|Oct 10, 2018

Machine Learning and ELM参考文献 12被引用数 2

ひとこと要約

この論文は、再生核ヒルベルト空間（RKHS）を介して任意の関数を近似する際のランダムReLU特徴の普遍性を確立し、普遍的かつ一貫性のある学習手法を形成することを証明している。しかし、浅いモデルではこれらの特徴を用いる場合、合成関数の近似に苦労するのに対し、重みが有界な深いReLUネットワークはそれらを効率的に近似できることを示しており、浅いランダム特徴モデルの根本的な限界を明らかにしている。

ABSTRACT

We study the approximation properties of random ReLU features through their reproducing kernel Hilbert space (RKHS). We first prove a universality theorem for the RKHS induced by random features whose feature maps are of the form of nodes in neural networks. The universality result implies that the random ReLU features method is a universally consistent learning algorithm. We prove that despite the universality of the RKHS induced by the random ReLU features, composition of functions in it generates substantially more complicated functions that are harder to approximate than those functions simply in the RKHS. We also prove that such composite functions can be efficiently approximated by multi-layer ReLU networks with bounded weights. This depth separation result shows that the random ReLU features models suffer from the same weakness as that of shallow models. We show in experiments that the performance of random ReLU features is comparable to that of random Fourier features and, in general, has a lower computational cost. We also demonstrate that when the target function is the composite function as described in the depth separation theorem, 3-layer neural networks indeed outperform both random ReLU features and 2-layer neural networks.

研究の動機と目的

• ランダムReLU特徴の再生核ヒルベルト空間（RKHS）を通じた関数近似における普遍性を確立すること。
• ランダムReLU特徴のRKHS内での合成関数の近似能力を調査すること。
• 浅いランダムReLU特徴モデルと深層ニューラルネットワークとの比較において、その限界を分析すること。
• 重みが有界な多層ReLUネットワークが、浅いモデルで学習が難しい合成関数を効率的に近似できることを示すこと。

提案手法

• ニューラルネットワークの活性化ノードに類似したランダムReLU特徴マップが生成するRKHSの理論的分析。
• ランダムReLU特徴のRKHSの普遍性の証明。これは、コンパクト領域上の任意の連続関数を近似可能であることを示している。
• ランダムReLU特徴のRKHS内で近似が困難な合成関数のクラスの構築。
• このような合成関数が、重みが有界な深層ReLUネットワークによって効率的に近似可能であることを証明。深さの差異を確立する。
• 近似精度と計算コストの観点から、ランダムReLU特徴とランダムフォーリエ特徴の間で実験的比較。
• 目標関数が合成関数である場合の性能評価。2層ネットワーク、3層ネットワーク、およびランダムReLU特徴の比較。

実験結果

リサーチクエスチョン

• RQ1 ランダムReLU特徴が生成するRKHSは、関数近似において普遍的か？
• RQ2 ランダムReLU特徴のRKHS内で関数を合成しても、浅いモデルがその合成を効率的に近似できるか？
• RQ3 重みが有界な深層ReLUネットワークは、合成関数において浅いランダムReLU特徴モデルを上回る性能を示すか？
• RQ4 ランダムReLU特徴の近似性能は、ランダムフォーリエ特徴と比べてどうか？
• RQ5 ランダムReLU特徴の計算コストは、他のランダム特徴手法と比べてどの程度か？

主な発見

• ランダムReLU特徴が生成するRKHSは普遍的であり、ランダムReLU特徴が普遍的かつ一貫性のある学習アルゴリズムを形成することを確認した。
• RKHSの普遍性にもかかわらず、その中で関数を合成すると、RKHS内に存在する関数よりもはるかに複雑な関数が得られ、それらはより近似が困難になる。
• ランダムReLU特徴のRKHS内で近似が困難な合成関数は、重みが有界な深層ReLUネットワークによって効率的に近似可能である。
• ランダムReLU特徴はランダムフォーリエ特徴と同等の性能を達成するが、計算コストが低かった。
• 実験では、目標関数が深さの差異定理で定義された合成関数である場合、3層ReLUネットワークが2層ネットワークおよびランダムReLU特徴を上回る性能を示した。