[論文レビュー] Constructive neural network learning

Shao-Bo Lin, Jinshan Zeng+1 more|arXiv (Cornell University)|Apr 30, 2016

Machine Learning and ELM参考文献 34被引用数 3

ひとこと要約

本稿では、ボロノイ分割とランドヴェーバー型反復法を用いて、データから直接ニューラルネットワークのパラメータを構築する、スケーラブルな学習システムである構成的フィードフォワードニューラルネットワーク（CFN）を提案する。この手法は、古典的な飽和問題を克服し、滑らかな回帰関数に対して最適な学習率を達成する。理論的・実験的両面で、従来のFNNやRLSやELMといった最先端手法を上回る性能を発揮する。

ABSTRACT

In this paper, we aim at developing scalable neural network-type learning systems. Motivated by the idea of "constructive neural networks" in approximation theory, we focus on "constructing" rather than "training" feed-forward neural networks (FNNs) for learning, and propose a novel FNNs learning system called the constructive feed-forward neural network (CFN). Theoretically, we prove that the proposed method not only overcomes the classical saturation problem for FNN approximation, but also reaches the optimal learning rate when the regression function is smooth, while the state-of-the-art learning rates established for traditional FNNs are only near optimal (up to a logarithmic factor). A series of numerical simulations are provided to show the efficiency and feasibility of CFN via comparing with the well-known regularized least squares (RLS) with Gaussian kernel and extreme learning machine (ELM).

研究の動機と目的

• マス・データに適したスケーラブルで効率的なフィードフォワードニューラルネットワーク（FNN）学習システムの開発。
• 勾配ベースおよびランダム化ベースのFNN学習法の限界、すなわち局所最適解への陥落、高い計算コスト、一般化性能の低下を解消すること。
• 滑らかな回帰関数において、FNN近似における古典的な飽和問題を克服すること。この問題は、学習率が制限される要因となる。
• 近似理論からの構成的手法と統計的局所平均化、反復的精錬を統合し、一般化性能と収束性を向上させること。
• 滑らかな関数に対して理論的に最適な学習率を確立し、対数因子を含まない最良の収束速度を達成すること。

提案手法

• 良い幾何的分布を持つ中心点を用いて、反復的トレーニングを回避し、データから直接FNNパラメータを構築する。
• 選択された中心点に基づくボロノイ分割を適用し、入力データをグループ化し、局所的領域を定義して平均化を実施する。
• 近似理論からの構成的近似法を用いて、高い近似精度を持つ初期FNNを構築する。
• FNN近似における飽和現象を克服するため、ランドヴェーバー型反復的精錬プロセスを導入する。
• 各ボロノイセル内でカーネルに類似した重み付けによる局所平均化を実施し、分散を低減し、ノイズ耐性を向上させる。
• 多変数平均値の定理、関数の微分可能性、および経験的リスクの確率的解析を組み合わせることで、理論的収束バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 従来のトレーニングの計算負荷を回避しつつ、高い一般化性能を維持できる構成的FNN学習システムを設計できるか？
• RQ2 提案されたCFN手法は、特に滑らかな回帰関数において、FNN近似における古典的な飽和問題を克服できるか？
• RQ3 CFNの学習率は、既存のFNNとは異なり、対数因子を含まない最適なレートに達することができるか？
• RQ4 ボロノイ分割とランドヴェーバー反復の統合は、ノイズが多いデータ環境下での一般化性能をどのように向上させるか？
• RQ5 数値比較により、CFN手法が大規模データに対してスケーラブルかつ効果的であることが示されるか？

主な発見

• 滑らかさが $ s $ の滑らかな回帰関数に対して、CFNは $ m^{-2s/(2s+d)} $ のオーダーで最適な学習率を達成する。これは、対数因子を含まない最良の収束速度である。
• FNN近似における古典的な飽和問題を克服し、$ s > 1 $ の場合に学習率が制限されていた過去の制限を解消した。
• 理論的解析により、期待一般化誤差が $ \mathbb{E}[\|\widetilde{N_{n,w}^{r}} - f_{\rho}\|_{\rho}^{2}] \leq C'''' m^{-2s/(2s+d)} $ を満たすことが証明され、最適収束が確認された。
• 数値シミュレーションにより、ガウスカーネルを用いた正則化最小二乗法（RLS）および極端学習マシン（ELM）を上回る学習精度と効率性が示された。
• ボロノイ分割と局所平均化の使用により、分散が顕著に低減され、特に構築に使用されるサンプルのサブセットが限られた場合でも、ノイズ耐性が向上した。
• ランドヴェーバー型反復的精錬ステップにより、飽和効果が効果的に除去され、従来の構成的FNNの理論的限界を超える性能向上が達成された。