[論文レビュー] A Tutorial about Random Neural Networks in Supervised Learning

Sebastián Basterrech, Gerardo Rubino|arXiv (Cornell University)|Sep 15, 2016

Neural Networks and Reservoir Computing参考文献 22被引用数 12

ひとこと要約

このチュートリアルでは、キューイング理論とニューラルネットワークを結びつける強力なフレームワークとしてのランダムニューラルネットワーク（RNN）を提示する。RNNの学習に用いられる一次および二次の最適化手法—勾配降下法、準ニュートン法、レーベンバーグ・マーカート法など—を詳細に説明し、パターン認識、画像処理、組合せ最適化の分野で収束速度およびロバスト性の面で実証的な利点を示している。

ABSTRACT

Random Neural Networks (RNNs) are a class of Neural Networks (NNs) that can also be seen as a specific type of queuing network. They have been successfully used in several domains during the last 25 years, as queuing networks to analyze the performance of resource sharing in many engineering areas, as learning tools and in combinatorial optimization, where they are seen as neural systems, and also as models of neurological aspects of living beings. In this article we focus on their learning capabilities, and more specifically, we present a practical guide for using the RNN to solve supervised learning problems. We give a general description of these models using almost indistinctly the terminology of Queuing Theory and the neural one. We present the standard learning procedures used by RNNs, adapted from similar well-established improvements in the standard NN field. We describe in particular a set of learning algorithms covering techniques based on the use of first order and, then, of second order derivatives. We also discuss some issues related to these objects and present new perspectives about their use in supervised learning problems. The tutorial describes their most relevant applications, and also provides a large bibliography.

研究の動機と目的

• ラベル付き学習問題へのランダムニューラルネットワーク（RNN）の応用について、包括的かつアクセス可能なチュートリアルを提供すること。
• RNNモデリングにおけるキューイング理論とニューラルネットワークフレームワークの間の概念的ギャップを埋めること。
• RNN学習のための一次（例：勾配降下法）および二次（例：準ニュートン法、レーベンバーグ・マーカート法）最適化アルゴリズムを提示し、比較すること。
• 特に再帰的トポロジーと安定性の問題に関連する、RNN学習における未解決の研究課題を特定すること。
• RNNベースの学習システムにおける高度な最適化手法および代替誤差指標の探求を促すこと。

提案手法

• ノードが正の信号と負の信号を処理し、ポisson分布に従うスパイクの到着によって状態を更新するPDP（並列分散処理）システムの一種としてRNNをモデル化する。
• 信号の到着（興奮性／抑制性）がポアソン過程に従い、ノードの状態が確率的に変化する確率的キューイングネットワークとしてRNNを定式化する。
• 主に二乗誤差の和を用いる標準的なラベル付き学習コスト関数を導入し、勾配に基づく最適化を用いてRNNを学習する。
• 勾配降下法およびその変種による一次最適化を実装し、再帰的アーキテクチャにおける安定性と収束性に注意を払う。
• 収束速度と正確性の向上を図るために、準ニュートン法やレーベンバーグ・マーカート法などの二次手法をRNN学習に適応する。
• 直感的な理解を得るため、神経ネットワーク用語とキューイング理論の概念を交互に用いる統一されたフレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 標準的な最適化手法を用いて、ランダムニューラルネットワークをラベル付き学習タスクに効果的に適応する方法は何か？
• RQ2 RNN学習において、一次手法と二次手法の相対的な利点と制限は何か？
• RQ3 消失・爆発勾配現象は、再帰的トポロジーを持つRNNにどの程度影響を及ぼし、古典的ニューラルネットワークと比べてどう異なるか？
• RQ4 Kullback-Leibler発散などの代替誤差指標は、RNNベースの学習システムにおける分類性能を向上させ得るか？
• RQ5 Hessian-free法や曲率に基づく手法などの高度な最適化アルゴリズムをRNNフレームワークに適用することで得られる可能性のある利点は何か？

主な発見

• 特定の代数的条件下では、RNNは普遍近似器であり、ラベル付き学習における複雑な入出力関係をモデル化できる。
• レーベンバーグ・マーカート法を含む二次最適化手法は、収束速度の面で勾配降下法を著しく上回るが、ロバストネスの問題を抱える可能性がある。
• 準ニュートン法は、速度と安定性の良好なトレードオフを提供し、テストされたほとんどのシナリオで一次手法よりも速い収束を示している。
• RNNモデルは、SAT問題や最小スティーナー木問題といったNP完全問題の解決に成功しており、組合せ最適化における計算能力を示している。
• 強力な実証的性能を示す一方で、再帰的RNNにおける消失・爆発勾配現象の体系的分析がRNNの文献に欠けていることから、重要な研究ギャップが浮き彫りになっている。
• GPU並列アーキテクチャ上での勾配降下法による最近のRNN実装は有望であることが示されており、並列環境下での二次手法の応用は、今後の研究にとって未解決かつ価値ある分野のまま残っている。