[論文レビュー] Nonnegative autoencoder with simplified random neural network

Yonghua Yin, Erol Gelenbe|arXiv (Cornell University)|Sep 25, 2016

Advanced Memory and Neural Computing参考文献 27被引用数 7

ひとこと要約

本稿では、簡略化されたスパikingランダムニューラルネットワーク（RNN）モデルを用いた非負性を課した新規の非負オートエンコーダーを提案する。深層学習アーキテクチャと非負値行列分解（NMF）にインspiredされた学習ルールを統合し、非負性および確率的制約を強制する。MNIST、CIFAR-10、および16の実世界データセットにおいて高い再構成精度を達成しており、シミュレーションにより、高並列分散実装の可能性が確認されている。

ABSTRACT

This paper proposes new nonnegative (shallow and multi-layer) autoencoders by combining the spiking Random Neural Network (RNN) model, the network architecture typical used in deep-learning area and the training technique inspired from nonnegative matrix factorization (NMF). The shallow autoencoder is a simplified RNN model, which is then stacked into a multi-layer architecture. The learning algorithm is based on the weight update rules in NMF, subject to the nonnegative probability constraints of the RNN. The autoencoders equipped with this learning algorithm are tested on typical image datasets including the MNIST, Yale face and CIFAR-10 datasets, and also using 16 real-world datasets from different areas. The results obtained through these tests yield the desired high learning and recognition accuracy. Also, numerical simulations of the stochastic spiking behavior of this RNN auto encoder, show that it can be implemented in a highly-distributed manner.

研究の動機と目的

• 非負性とスパキングRNNモデルを統合した深層フィードフォワードアーキテクチャを備えた非負オートエンコーダーの開発。
• 標準的な勾配降下法が使用できない非負性および確率和制約下でのRNNベースオートエンコーダーの学習課題に対処する。
• NMFにインspiredされた重み更新ルールとチェック・アジャスト手順を適応し、RNNの制約を満たしつつ学習効率を維持する。
• UCIの多様な実世界データセットおよびベンチマーク画像データセット（MNIST、CIFAR-10、Yale Face）におけるモデル性能の妥当性を検証する。
• スパイクの確率的挙動シミュレーションを通じて、オートエンコーダーが分散型・並列実装可能であることを示す。

提案手法

• 元のRNN方程式の準線形定常解に基づく簡略化されたフィードフォワードRNNモデルを用いて、浅いオートエンコーダーを構築する。
• 接続重みの非負性を強制するために、NMFにインspiredされた重み更新ルールを採用し、RNNの確率的発火モデルと整合性を保つ。
• 訓練中にチェック・アジャスト機構を実装し、任意のニューロンからの出力遷移確率の合計が1を超えないように保証する。
• 効率的な最適化のため、ミニバッチ処理（バッチサイズ50）を用いた確率的勾配降下法（SGD）を適用する。
• RNNの積型解を用いて定常状態活性化確率を解析的に計算し、モデルの数値的妥当性を検証する。
• 入力ニューロンからのポissonスパイクトレインをモデル化し、時間経過に伴うニューロンのポテンシャルを追跡することで、スパイクの確率的挙動をシミュレートし、観測されたポテンシャル平均を用いて活性化確率を推定する。

実験結果

リサーチクエスチョン

• RQ1 簡略化されたRNNモデルは、深層フィードフォワードアーキテクチャとしての非負オートエンコーダーとして効果的に再利用可能か？
• RQ2 NMFにインspiredされた学習ルールは、RNNの非負性および確率和制約を満たすようにどのように適応可能か？
• RQ3 提案されたオートエンコーダーは、標準画像および実世界データセットにおいて高い再構成精度を達成するか？ また、RNNが内在する確率的・分散的性質を維持できるか？
• RQ4 RNNオートエンコーダーの確率的スパイク挙動は正確にシミュレート可能か？ また、シミュレーション結果は数値的定常状態予測と整合性を示すか？
• RQ5 RNNのスパイクダイナミクスに示唆されるように、オートエンコーダーはどれほど高い分散型・並列実装が可能か？

主な発見

• 非負LRNNオートエンコーダーは、MNIST、CIFAR-10、Yale Faceデータセットにおいて高い再構成精度を達成し、反復回数の増加に伴い再構成誤差が減少した。
• 16のUCI実世界データセットにおいて、モデルは強固な収束を示し、再構成誤差の減少により有効な表現学習が行われた。
• スパイクの確率的挙動のシミュレーション結果は、定常状態方程式からの数値的結果とよく一致しており、モデルの整合性と安定性が裏付けられた。
• 1,000,000回のシミュレーションイベント後、隠れ層および出力層の推定活性化確率（q_i）が、数値的に計算された値と非常に近接して収束した。
• 図4に示す可視化比較により、全層におけるスパイクシミュレーション結果が時間経過とともに数値予測と一致しており、信頼性とスケーラビリティが確認された。
• 結果から、LRNNオートエンコーダーは、その内在的なスパイク性および局所的更新メカニズムにより、高並列分散ハードウェア実装の可能性を有することが確認された。