[論文レビュー] Deep Learning with the Random Neural Network and its Applications

Yonghua Yin|arXiv (Cornell University)|Oct 8, 2018

Neural Networks and Applications参考文献 110被引用数 10

ひとこと要約

本論文は、ランダムニューラルネットワーク（RNN）に基づく画期的なディープラーニングフレームワークを提案する。RNNの確率的で生物学的にインspiredなダイナミクスと積型解を活用することで、効率的で低消費電力なディープラーニングを実現する。この手法は、CNN や ELM といった従来のディープラーニングモデルと比較して、顕著に短い訓練時間と推論時間を達成しながら、最先端または競争力のある分類精度を達成しており、RNN が高効率なディープラーニングツールとしての可能性を示している。

ABSTRACT

The random neural network (RNN) is a mathematical model for an "integrate and fire" spiking network that closely resembles the stochastic behaviour of neurons in mammalian brains. Since its proposal in 1989, there have been numerous investigations into the RNN's applications and learning algorithms. Deep learning (DL) has achieved great success in machine learning. Recently, the properties of the RNN for DL have been investigated, in order to combine their power. Recent results demonstrate that the gap between RNNs and DL can be bridged and the DL tools based on the RNN are faster and can potentially be used with less energy expenditure than existing methods.

研究の動機と目的

• RNN が有する独自の確率的および積型性質を活用することで、ランダムニューラルネットワーク（RNN）とディープラーニングのギャップを埋める。
• 従来の手法よりも計算コストとエネルギー消費が低い、RNN を基盤とする効率的なディープラーニングツールの開発。
• 非負のスパikingダイナミクスを用いて、画像分類や次元削減などのディープラーニングタスクをRNNが実行できるかを調査。
• 標準的なディープラーニングアーキテクチャの代替手段として、生物学的に妥当で数学的に取り扱いやすいRNNの可能性を示す。
• マルチレイヤーRNNを現代のディープラーニングプラットフォームに統合する方法を可能とし、より深い分析の理論的基盤を検討。

提案手法

• RNN の積型解を活用し、正確な定常状態確率分布を用いてニューロンのスパiking行動をモデル化することで、効率的な計算を実現。
• 非負性制約を用いてデータ構造を保持する、強固な次元削減を実現するマルチレイヤー非負RNNオートエンコーダを提案。
• セル間相互作用とシナプス接続を統合した、密度の高いRNNモデルを導入し、表現力の向上を図る。
• 収束性と効率性を保証するマルチレイヤーRNN分類器のための新規訓練アルゴリズムを採用。
• RNN の内在的確率的性質と、積算・放電ダイナミクスを活用し、ディープネットワーク内で畳み込みに類似した演算を実行。
• MLP、CNN、H-ELM との比較ベンチマークを用いて、マルチチャネルデータセット（画像および時系列データ）に対してフレームワークを検証。

実験結果

リサーチクエスチョン

• RQ1 RNN の積型解と確率的ダイナミクスは、高い効率性を実現するディープラーニングに効果的に活用可能か？
• RQ2 RNN を用いたディープラーニングモデルの性能は、CNN や ELM といった標準的なディープラーニングモデルと比較して、精度と計算コストの面でどのように異なるか？
• RQ3 正のパラメータのみを用いる標準RNNが、ディープネットワーク内で畳み込み演算をどれほど正確に再現できるか？
• RQ4 非負制約を課したマルチレイヤーRNNは、多様なデータタイプにわたり、強固で効果的な次元削減を達成できるか？
• RQ5 TensorFlow などの既存のディープラーニングプラットフォームに、RNN を基盤とするディープラーニングツールを統合することは可能か？

主な発見

• MCMLRNN モデルは DAS データセットで最高のテスト精度を達成し、MLP や CNN、H-ELM を上回ったほか、計算コストも最も低かった。
• DAS データセットにおいて、MCMLRNN はたった 1338.35 秒の訓練時間で 99.05% のテスト精度を達成し、ドロップアウトを適用した CNN よりも顕著に高速であった。
• MCMLRNN は MCMLDRNN よりも計算複雑度が低く抑えられており、ディープラーニングアーキテクチャにおける個々のRNNセルの価値を裏付けた。
• 標準RNNで正のパラメータのみを用いても、画像畳み込み演算を実行可能であることが示され、効果的なディープラーニングが可能であることが確認された。
• RNN を基盤とする提案されたディープラーニングツールは、従来のモデルと同等またはそれ以上の性能を示しながら、顕著に短い訓練時間とテスト時間を達成した。
• フレームワークは画像および時系列データを含む多様なデータタイプに対して、強力な一般化能力と低い過学習度を示し、頑健であることが実証された。