[論文レビュー] Approximation Bounds for Random Neural Networks and Reservoir Systems

Lukas Gonon, Lyudmila Grigoryeva+1 more|arXiv (Cornell University)|Feb 14, 2020

Neural Networks and Applications被引用数 8

ひとこと要約

本稿は、内部重みがランダムに生成されるエコー状態ネットワーク（ESN）に対して、最初の厳密な近似バウンドを確立し、幅広い種類の力学系を任意に良く近似できることを証明している。ハイパーパrameterにのみ依存するランダム重みのサンプリング手順を構築することで、ネットワークサイズとターゲット系の正則性に基づいて$L^2$誤差を定量化し、リザボア計算の経験的成功の最初の数学的説明を提供している。

ABSTRACT

This work studies approximation based on single-hidden-layer feedforward and recurrent neural networks with randomly generated internal weights. These methods, in which only the last layer of weights and a few hyperparameters are optimized, have been successfully applied in a wide range of static and dynamic learning problems. Despite the popularity of this approach in empirical tasks, important theoretical questions regarding the relation between the unknown function, the weight distribution, and the approximation rate have remained open. In this work it is proved that, as long as the unknown function, functional, or dynamical system is sufficiently regular, it is possible to draw the internal weights of the random (recurrent) neural network from a generic distribution (not depending on the unknown object) and quantify the error in terms of the number of neurons and the hyperparameters. In particular, this proves that echo state networks with randomly generated weights are capable of approximating a wide class of dynamical systems arbitrarily well and thus provides the first mathematical explanation for their empirically observed success at learning dynamical systems.

研究の動機と目的

• リザボア計算やランダムニューラルネットワークが複雑な力学系を近似する経験的成功の背後にある理論的裏付けの欠如に取り組むこと。
• 内部重みがランダムに生成されるエコー状態ネットワーク（ESN）の実用的成果と理論的理解の間のギャップを埋めること。
• ややきつい正則性仮定の下で、未知の入出力系を近似するESNに対して明示的で非漸近的な誤差バウンドを導出すること。
• ランダム重みの構成的サンプリングを用いて、正則性条件を超えた普遍性結果を拡張すること。
• ESNにおける出力フィードバックの影響を分析し、力学系学習におけるその利用に対する理論的支援を提供すること。

提案手法

• ハイパーパrameterのみに依存し、未知のターゲット系とは独立して、ESNのリザボア重みA、C、ζの構成的サンプリング手順を提案する。
• リザボア写像の近似にランダム特徴に基づくアプローチを用い、隠れ状態ダイナミクスをランダム非線形変換として扱う。
• 一般化誤差のバウンドに、測度収束およびラデマッハ複雑度技術を適用し、真の系とESN近似との間の誤差を制限する。
• ニューロン数N、系の正則性、リザボア行列の固有値半径rの関数として、明示的な$L^2$誤差バウンドを導出する。
• 安定性条件（エコー状態性質）を導入し、提案されたサンプリングスキームの下でそれがほとんど確実に満たされることを証明する。
• 出力フィードバック付きESN（ジョーダンネットワーク変種）に対しても分析を拡張し、修正された学習ダイナミクスのもとで同様の近似保証が成り立つことを示す。

実験結果

リサーチクエスチョン

• RQ1 内部重みがランダムに生成されるエコー状態ネットワークは、広範な力学系クラスを任意に良く近似できるか。その場合、どのような条件下で可能か？
• RQ2 ランダムリザボアネットワークにおける近似誤差、ニューロン数、ターゲット系の正則性との間の定量的関係は何か？
• RQ3 ターゲット系とは無関係な一般分布から重みをサンプリングする場合、エコー状態性質を高い確率で保証できるか？
• RQ4 ハイパーパラメータ（例：固有値半径、ニューロン数）は、ESNにおける近似精度にどのように影響するか？
• RQ5 正則性仮定を超えて、近似枠組みを普遍的近似へと拡張できるか？

主な発見

• 本稿は、内部重みがランダムに生成されるエコー状態ネットワークが、任意に正則な力学系を$L^2$誤差$O(1/√{N})$で近似できることを証明している。ここで$N$はニューロン数を表す。
• 近似誤差は、ニューロン数、リザボア行列の固有値半径、ターゲット系の正則性の関数として明示的にバウンドされている。
• 提案されたサンプリングスキームの下で、エコー状態性質はほとんど確実に満たされ、安定で一意な状態軌道が保証される。
• 誤差バウンドは、特定のターゲット関数に依存せず、ハイパーパラメータと系の正則性にのみ依存するため、ESNの汎用的設計が可能になる。
• 本フレームワークは普遍性結果へと拡張可能である：正則性仮定がなくても、$N$を大きくすることで任意の可測な入出力系を任意の精度で近似可能である。
• 出力フィードバック付きESNに対しても、修正された学習手順のもとで同様の誤差バウンドが成り立ち、実用的応用におけるその利用を支持する。