[論文レビュー] On the Approximation Properties of Neural Networks

Jonathan W. Siegel, Jinchao Xu|arXiv (Cornell University)|Apr 4, 2019

Neural Networks and Applications参考文献 12被引用数 8

ひとこと要約

本稿は、2層ニューラルネットワークの新しい理論的保証を確立する。隠れ層のニューロンが出力として線形独立な関数を生成する条件を証明し、ニューロン数が増加するに従って近似誤差の収束速度を改善する。活性化関数に関する仮定を緩和し、非多項式関数である場合に、このようなネットワークがコンact集合上で稠密であることを示す簡略化された証明を提供する。

ABSTRACT

We prove two new results concerning the approximation properties of neural networks. Our first result gives conditions under which the outputs of the neurons in a two layer neural network are linearly independent functions. Our second result concerns the rate of approximation of a two layer neural network as the number of neurons increases. We improve upon existing results in the literature by significantly relaxing the required assumptions on the activation function and by providing a better rate of approximation. We also provide a simplified proof that the class of functions represented by a two-layer neural network is dense in any compact set if the activation function is not a polynomial.

研究の動機と目的

• 2層ニューラルネットワークの隠れ層ニューロン出力が線形独立関数である条件を特定すること。
• 活性化関数に関する仮定を弱める条件下で、ニューロン数の増加に伴う2層ネットワークの近似誤差の収束速度を向上させること。
• 活性化関数が非多項式である場合に、2層ネットワークがコンパクト集合上の任意の連続関数を近似できることの証明を簡略化すること。
• 活性化関数に課される制約を緩和することで、既存の近似理論の結果を拡張し、解析的であることや特定の滑らかさを要件としなくてもよいようにすること。

提案手法

• ネットワークの隠れ層出力のヤコビ行列のランクを分析することで、ニューロン出力の線形独立性を評価する。
• 関数解析と近似理論を用いて、目的関数と2層ネットワークによる近似との間の誤差を評価する。
• 非多項式性を活用した新規構成を導入し、コンパクト集合上の連続関数空間における稠密性を保証する。
• 調和解析と直交関数系の結果を応用して、収束速度の向上を導出する。
• 活性化関数の非多項式性に注目することで、解析的であることや厳密に単調増加であることの要件を緩和する。
• Stone-Weierstrassの定理と非多項式関数の性質を用いた、稠密性の洗練された証明を提供する。

実験結果

リサーチクエスチョン

• RQ1 2層ニューラルネットワークのニューロン出力が線形独立である条件は何か？
• RQ2 ニューロン数が増加する際、近似誤差はどのように減少するか？ また、活性化関数に関する仮定を弱めた場合でも、その収束速度を向上させられるか？
• RQ3 活性化関数が解析的でなくても、2層ネットワークがコンパクト集合上の連続関数空間で稠密であることを証明できるか？
• RQ4 2層ネットワークにおけるユニバーサル近似を保証するための活性化関数の最小限の正則性条件は何か？
• RQ5 一般性を保ちつつ、ユニバーサル近似の証明をどのように簡略化できるか？

主な発見

• 活性化関数が多項式でなく、入力分布がフルサポートを持つ限り、2層ネットワークのニューロン出力は線形独立である。
• 活性化関数にやや弱い条件が課される限り、ニューロン数Nが増加するに従い、近似誤差はO(1/√N)の速度で減少する。
• 既存の結果を改善するため、活性化関数が解析的であるか、厳密に単調増加であることの要件を緩和した。
• 活性化関数が非多項式である場合に、任意のコンパクト集合Kに対してC(K)空間における稠密性を示す簡略化された証明が提供された。
• 隠れ層マップのヤコビ行列の非退化性を用いて、隠れユニット出力の線形独立性が確立された。
• 非多項式活性化関数の豊かさを活用することで、多様な関数クラスを表現できる性質が、改善された近似速度の達成に寄与した。