[論文レビュー] On the Approximation Properties of Random ReLU Features

Yitong Sun, Anna C. Gilbert+1 more|arXiv (Cornell University)|Oct 10, 2018

Machine Learning and ELM参考文献 17被引用数 19

ひとこと要約

この論文は、ランダムなReLU特徴によって誘導される再帰的核ヒルベルト空間（RKHS）の普遍性を確立し、それが普遍的かつ一貫性のある学習手法を形成することを証明している。さらに、深さの分離現象を明らかにした。浅いモデル（ランダムReLU特徴を含む）は、特定の合成関数を近似することが困難であるが、有界な重みを持つより深いReLUネットワークは、それらを効率的に近似できる。これは、浅いランダム特徴モデルに根本的な制限があることを示している。

ABSTRACT

We study the approximation properties of random ReLU features through their reproducing kernel Hilbert space (RKHS). We first prove a universality theorem for the RKHS induced by random features whose feature maps are of the form of nodes in neural networks. The universality result implies that the random ReLU features method is a universally consistent learning algorithm. We prove that despite the universality of the RKHS induced by the random ReLU features, composition of functions in it generates substantially more complicated functions that are harder to approximate than those functions simply in the RKHS. We also prove that such composite functions can be efficiently approximated by multi-layer ReLU networks with bounded weights. This depth separation result shows that the random ReLU features models suffer from the same weakness as that of shallow models. We show in experiments that the performance of random ReLU features is comparable to that of random Fourier features and, in general, has a lower computational cost. We also demonstrate that when the target function is the composite function as described in the depth separation theorem, 3-layer neural networks indeed outperform both random ReLU features and 2-layer neural networks.

研究の動機と目的

• ランダムReLU特徴によって誘導されるRKHSの普遍性を確立し、あらゆる連続関数を近似可能であることを保証する。
• RKHS内の関数よりも本質的に複雑な合成関数をモデル化する際の、ランダムReLU特徴の近似限界を分析する。
• 有界な重みを持つ多層ReLUネットワークが、このような合成関数を効率的に近似できることを示し、深さによる優位性を強調する。
• ランダムReLU特徴が計算的に効率的であり、ランダムフーリエ特徴と同等の性能を示すが、計算コストが低いことを実証的に検証する。
• 深さが必要な正確な近似を求めるターゲット関数において、3層ReLUネットワークが2層ネットワークおよびランダムReLU特徴を上回ることを示す。

提案手法

• 活性化関数σおよびパラメータ分布に関する広範な十分条件の下で、関数解析的手法を用いて、ランダムReLU特徴によって誘導されるRKHSの普遍性を証明する。
• Bach (2017b) の結果を用い、Huangら (2006) の有界特徴写像の結果を、非有界だが許容可能なランダム特徴へと拡張する。
• 浅いモデルが効率的に近似できない合成関数を近似できる、有界な重みを持つ深層ReLUネットワークを構築する。
• 中間層の重みを有界に保ちつつ関数近似を維持するためのスケーリング技術を適用し、安定性と一般化性能を保証する。
• 制約付きの経験的リスク最小化を用い、ランダムReLU特徴空間内に良い近似子が存在することを保証する。
• 合成データセット（正弦波、ストリップ、正方形、チェッカー分布など）を用いて、ランダムReLU特徴とランダムフーリエ特徴を比較する実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 ランダムReLU特徴によって誘導されるRKHSが、どのような条件下で普遍的となり、あらゆる連続関数を近似可能となるか？
• RQ2 ランダムReLU特徴は、RKHS内に含まれる関数よりも複雑な合成関数を、効率的に近似できるか？
• RQ3 有界な重みを持つより深いReLUネットワークは、浅いモデル（ランダムReLU特徴を含む）よりも、このような合成関数の近似で優れているか？
• RQ4 ランダムReLU特徴の性能は、精度と計算コストの観点で、ランダムフーリエ特徴と比べてどうか？
• RQ5 ランダムReLU特徴上での経験的リスク最小化は、良い一般化性能と近似を保証できるか？

主な発見

• 活性化関数およびパラメータ分布に関する広範な条件下で、ランダムReLU特徴によって誘導されるRKHSは普遍的であり、学習手法の普遍的かつ一貫性のある性質を保証する。
• RKHSの普遍性にもかかわらず、RKHSの要素を合成して得られる関数は、RKHS自体の関数よりも著しく複雑であり、近似がはるかに困難である。
• 有界な重みを持つ多層ReLUネットワークは、このような合成関数を効率的に近似でき、深さによる分離効果（より深いモデルが浅いモデルを上回る）を示している。
• 3層ReLUネットワークは、深さの分離定理によって構築されたターゲット関数において、2層ネットワークおよびランダムReLU特徴を上回る性能を示し、深さの理論的優位性を確認した。
• ランダムReLU特徴は、ランダムフーリエ特徴と同等の性能を達成するが、特にReLUの0または恒等写像出力によるスパースな特徴ベクトルのおかげで、計算コストが低くなる。
• 合成データセットにおける実証的結果は、ランダムReLU特徴が有効かつ効率的であり、複雑な合成ターゲット関数に対して深さが決定的な優位性を提供することを確認した。