[論文レビュー] Online Learning of Recurrent Neural Architectures by Locally Aligning Distributed Representations.

Alexander G. Ororbia, Ankur Mali+2 more|arXiv (Cornell University)|Oct 17, 2018

Neural Networks and Reservoir Computing被引用数 1

ひとこと要約

本論文では、局所的表現整合性（Local Representation Alignment）という局所学習則を用いて訓練される、生物学的にインスパイアされた再帰的アーキテクチャであるParallel Temporal Neural Coding Networkを提案する。この学習則は、時間にわたる誤差逆伝播（back-propagation through time）を回避する。アンロールの必要性や微分可能な活性化関数への依存を排除することで、並列学習が可能となり、Bouncing MNIST や Penn Treebank といった系列モデリングタスクで最先端の性能を達成する。一部のケースでは、完全な誤差逆伝播を上回ることすらある。

ABSTRACT

Temporal models based on recurrent neural networks have proven to be quite powerful in a wide variety of applications, including language modeling and speech processing. However, to train these models, one relies on back-propagation through time, which entails unfolding the network over many time steps, making the process of conducting credit assignment considerably more challenging. Furthermore, the nature of back-propagation itself does not permit the use of non-differentiable activation functions and is inherently sequential, making parallelization of the underlying training process very difficult. In this work, we propose the Parallel Temporal Neural Coding Network, a biologically inspired model trained by the local learning algorithm known as Local Representation Alignment, that aims to resolve the difficulties and problems that plague recurrent networks trained by back-propagation through time. Most notably, this architecture requires neither unrolling nor the derivatives of its internal activation functions. We compare our model and learning procedure to other online back-propagation-through-time alternatives (which also tend to be computationally expensive), including real-time recurrent learning, echo state networks, and unbiased online recurrent optimization, and show that it outperforms them on sequence modeling benchmarks such as Bouncing MNIST, a new benchmark we call Bouncing NotMNIST, and Penn Treebank. Notably, our approach can, in some instances, even outperform full back-propagation through time itself as well as variants such as sparse attentive back-tracking. Furthermore, we present promising experimental results that demonstrate our model's ability to conduct zero-shot adaptation.

研究の動機と目的

• 再帰的ニューラルネットワークにおける誤差逆伝播（BPTT）の計算非効率性と逐次的性質を解決すること。
• BPTTの制限、すなわちアンロールの必要性や微分可能活性化関数への依存を克服すること。
• 並列化を可能にし、再帰モデルにおけるゼロショット適応を可能にする学習法を開発すること。
• グローバルな信用配分を回避しながらも、系列モデリングタスクで高い性能を維持できる生物学的に妥当な学習則を設計すること。

提案手法

• 局所学習則に適した再帰的アーキテクチャとして、Parallel Temporal Neural Coding Networkを提案する。
• 局所的表現整合性を用いてモデルを訓練する。これは、勾配を必要とせず、時間ステップ間の分散表現を一致させる局所的学習アルゴリズムである。
• 時間ステップにわたるネットワークのアンロールの必要性を排除し、学習中に並列計算を可能にする。
• 内部活性化関数の導関数に依存しないため、微分不能なユニットの使用が可能になる。
• 連続する時間ステップ間の隠れ状態表現を、局所的誤差信号を用いて一致させることで、局所的信用配分を統合する。
• グローバルに逆伝播された誤差ではなく、表現間の局所的相関に基づいて重みを更新する生物学的にインスパイアされたメカニズムを用いる。

実験結果

リサーチクエスチョン

• RQ1 誤差逆伝播（BPTT）や勾配計算なしに、再帰的ニューラルネットワークを効果的に訓練できるか？
• RQ2 局所的学習則（局所的表現整合性）は、BPTTおよびその変種と比較して、系列モデリングベンチマークで競争力のある性能を達成できるか？
• RQ3 提案されたモデルは、逐次的タスクにおけるゼロショット適応をサポートするか？
• RQ4 長期間の時間的依存関係を維持しつつ、効率的な並列化が可能か？
• RQ5 エコー状態ネットワーク、リアルタイム再帰学習、偏りのないオンライン再帰最適化といった既存手法と比較して、モデルの性能はいかがなものか？

主な発見

• 提案されたモデルは、Bouncing MNIST および Bouncing NotMNIST において、リアルタイム再帰学習、エコー状態ネットワーク、偏りのないオンライン再帰最適化といった既存のオンラインBPTT代替手法を上回る性能を発揮した。
• Penn Treebank 語彙モデルベンチマークでは、競争力のある結果を達成しており、特定の設定では完全な誤差逆伝播（BPTT）をも上回った。
• モデルは強力なゼロショット適応能力を示しており、未観測の系列への堅牢な一般化を示している。
• アンロールと勾配計算の不在により、効率的な並列学習が可能となり、標準的なBPTTに比べて計算効率が著しく向上した。
• 微分不能な活性化関数を用いても、モデルは高い性能を維持した。これは、標準的な誤差逆伝播とは互換性がない。
• 局所的表現整合性は、グローバルな誤差信号なしに効果的な信用配分を可能にし、生物学的に妥当な学習メカニズムとしての可能性を裏付けた。