[論文レビュー] Deep Stochastic Configuration Networks with Universal Approximation Property

Dianhui Wang, Ming Li|arXiv (Cornell University)|Feb 18, 2017

Machine Learning and ELM参考文献 26被引用数 7

ひとこと要約

本稿では、すべての隠れ層から出力への直接スキップ接続を備えた段階的な深層構造を構築する、ランダム化された深層学習フレームワークであるDeep Stochastic Configuration Networks（DeepSCNs）を提案する。ランダム重みおよびバイアスの割り当てを制御する監視メカニズムを用い、最小二乗法によりリードアウト重みを求めることで、DeepSCNsは普遍近似を達成し、最小限の人的介入で高速かつデータ依存の表現学習を可能にする。

ABSTRACT

This paper develops a randomized approach for incrementally building deep neural networks, where a supervisory mechanism is proposed to constrain the random assignment of the weights and biases, and all the hidden layers have direct links to the output layer. A fundamental result on the universal approximation property is established for such a class of randomized leaner models, namely deep stochastic configuration networks (DeepSCNs). A learning algorithm is presented to implement DeepSCNs with either specific architecture or self-organization. The read-out weights attached with all direct links from each hidden layer to the output layer are evaluated by the least squares method. Given a set of training examples, DeepSCNs can speedily produce a learning representation, that is, a collection of random basis functions with the cascaded inputs together with the read-out weights. An empirical study on a function approximation is carried out to demonstrate some properties of the proposed deep learner model.

研究の動機と目的

• 高い計算コストと過学習のリスクを伴う手動による試行錯誤的な深層ネットワーク構造設計の課題に対処する。
• ネットワーク構築における人的介入を最小限に抑えた高速でスケーラブルな深層学習フレームワークを開発する。
• 直接スキップ接続を備えたランダム化深層ネットワークにおける普遍近似の理論的基盤を確立する。
• ランダム基底関数を用いた段階的・構築的学習により、効率的でデータ依存の特徴表現を実現する。
• スパarsityと冗長性の除去を支援する後処理を可能とするフレームワークを提供し、モデルの効率性と解釈可能性を向上させる。

提案手法

• 最小ネットワークから開始し、隠れ層を1つずつ段階的に追加することでDeepSCNsを構築する。
• モデル容量を保つために不等式制約を課す監視メカニズムに従い、隠れ層の重みおよびバイアスをランダムに割り当てる。
• すべての隠れ層を出力層に直接接続することで、層ごとの近似と柔軟な特徴利用を可能にする。
• 訓練データ上で最小二乗回帰を用いてリードアウト重みを計算し、ランダム基底関数の最適な線形結合を保証する。
• 1層目の残差誤差を次の層の新しいターゲット関数として用いることで、階層的近似を実現する。
• 各層でランダムパラメータの範囲を適応的に更新し、基底関数の集合を豊かにし、表現力の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 直接スキップ接続を備えたランダム化深層ニューラルネットワークは、普遍近似を達成できるか？
• RQ2 ランダムパラメータに課される監視メカニズムは、DeepSCNsの表現力および一般化性能にどのように影響するか？
• RQ3 最小二乗リードアウトを用いた段階的・構築的学習プロセスは、標準的なDNNと比較して、学習速度およびモデル精度をどの程度向上させるか？
• RQ4 DeepSCNsは、関数近似および「数字の回転補正」のような実世界のタスクにおいて、浅い確率的構成ネットワーク（SCNs）を上回る性能を発揮できるか？
• RQ5 構造的深さと直接接続の有無は、データ依存のランダム基底関数の品質にどのような影響を及えるか？

主な発見

• DeepSCNsは普遍近似性を達成し、任意の連続関数を任意の精度で近似可能であることを証明した。
• 提案された監視メカニズムにより、ランダムパラメータがモデル容量を維持するように割り当てられ、不良な初期化を回避した。
• 数字の回転補正タスクにおいて、DeepSCNsは浅いSCNsを顕著に上回り、予測誤差が少なく、特に「1」、「2」、「5」、「7」、「8」のような数字において角度推定がより安定している。
• SCNよりも正確で安定した予測を生成し、誤差の大部分が[-60, 60]度の範囲に集中していることから、一般化性能が優れていることが示された。
• 誤差許容度に基づきデータ依存の構造を段階的に構築するため、人的介入を最小限に抑えながら高速な学習が可能である。
• 後処理により冗長性の除去が可能となり、近似精度を損なわずにスパースかつ効率的な表現を実現できる。