[論文レビュー] A wake-sleep algorithm for recurrent, spiking neural networks

Johannes Thiele, Peter U. Diehl+1 more|arXiv (Cornell University)|Mar 18, 2017

Advanced Memory and Neural Computing参考文献 10被引用数 10

ひとこと要約

本稿では、スパイク時刻依存可塑性（STDP）で訓練される再帰的スパikingニューラルネットワークにおける重みクラスタリングを防ぐために、ウェイク・スリープアルゴリズムを提案する。ウェイクフェーズでの学習と、ランダム入力によるスリープフェーズでのアンチヒブスン学習を交互に適用することで、有害なアトラクタ状態を抑制し、最大10倍の高い学習率を許容し、低い推論誤差で高速な収束を実現する。

ABSTRACT

We investigate a recently proposed model for cortical computation which performs relational inference. It consists of several interconnected, structurally equivalent populations of leaky integrate-and-fire (LIF) neurons, which are trained in a self-organized fashion with spike-timing dependent plasticity (STDP). Despite its robust learning dynamics, the model is susceptible to a problem typical for recurrent networks which use a correlation based (Hebbian) learning rule: if trained with high learning rates, the recurrent connections can cause strong feedback loops in the network dynamics, which lead to the emergence of attractor states. This causes a strong reduction in the number of representable patterns and a decay in the inference ability of the network. As a solution, we introduce a conceptually very simple "wake-sleep" algorithm: during the wake phase, training is executed normally, while during the sleep phase, the network "dreams" samples from its generative model, which are induced by random input. This process allows us to activate the attractor states in the network, which can then be unlearned effectively by an anti-Hebbian mechanism. The algorithm allows us to increase learning rates up to a factor of ten while avoiding clustering, which allows the network to learn several times faster. Also for low learning rates, where clustering is not an issue, it improves convergence speed and reduces the final inference error.

研究の動機と目的

• STDPで訓練される再帰的スパキングニューラルネットワークにおける重みクラスタリングの課題に取り組み、アトラクタ状態を引き起こし推論性能を低下させる要因を解消すること。
• 現在、クラスタリングを避けるために唯一の手段である低学習率の制限を克服すること。
• アーキテクチャの変更なしに、ネットワークの内在的ダイナミクスを活用して問題となる重みクラスタを特定・解消する手法を開発すること。
• 著しく高い学習率を許容しつつ、低い推論誤差を維持したまま、より高速なトレーニングと改善された収束を実現すること。
• 本手法がクラスタリングの防止にとどまらず、既に重みクラスタが存在するネットワークに対しても、既存のクラスタを効果的に除去できることを示すこと。

提案手法

• ウェイクフェーズでは標準的なSTDP学習、スリープフェーズではランダム入力刺激を用いた二段階トレーニングスケジュールを採用する。
• スリープフェーズ中、ネットワークは内部の活動パターン（「夢を見る」）を生成し、重みクラスタによって誘発された既存のアトラクタ状態を活性化する。
• スリープフェーズでは、興奮性STDP学習率の符号を反転させることでアンチヒブスン学習則を適用し、アトラクタ形成に寄与する重みを解体する。
• アトラクタ状態に参加するニューロン間の相関活動を介して、ネットワークの再帰的スパッキングダイナミクスを生成モデルとして活用し、クラスタを同定する。
• 強いフィードバックループに寄与する重みに対してのみアンチヒブスン機構を選択的に適用し、クラスタを効果的に解体する。
• Brianスパッキングニューラルネットワークシミュレータを用いて、LIFニューロンとトリプレット則を用いた三路関係推論ネットワーク上でアルゴリズムを実装する。

実験結果

リサーチクエスチョン

• RQ1 ウェイク・スリープアルゴリズムは、STDPで訓練される再帰的スパキングニューラルネットワークにおける重みクラスタリングを緩和できるか？
• RQ2 提案手法により、アトラクタ状態の発生や推論性能の低下を伴わずに、より高い学習率を用いたトレーニングが可能になるか？
• RQ3 本アルゴリズムは、既に重みクラスタが存在するネットワークに対しても、既存のクラスタを除去できるか？
• RQ4 ウェイク・スリープアルゴリズムは、低学習率でも収束速度を向上させ、最終的な推論誤差を低減するか？
• RQ5 本アルゴリズムの有効性は特定のネットワークアーキテクチャに依存するのか、それとも再帰的スパキングネットワーク全体に一般化可能か？

主な発見

• ウェイク・スリープアルゴリズムは、従来の10倍の高い学習率を用いても、再帰的スパキングニューラルネットワークにおける重みクラスタの形成を効果的に防止した。
• 本手法により、通常は急速に劣悪なアトラクタ状態に収束してしまう学習率でも、トレーニングが可能となり、有効なトレーニング領域が拡大された。
• 既にクラスタリングを示しているネットワークに対しても、スリープフェーズが効果的にクラスタを除去し、数秒間のスリープトレーニングで入力および再帰的行列の望ましい対角的重み構造を回復させた。
• 低学習率（クラスタリングが問題でない状況）でも、本手法は標準的なSTDPに比べて収束速度を向上させ、最終的な推論誤差を低減した。
• クラスタの除去後に正しい重み行列構造が、ランダム初期値からのトレーニングよりも速く回復したため、シナプス重みの効率的再編成が可能であることが示された。
• 本アルゴリズムの成功は、ネットワークの内在的再帰的ダイナミクスを生成モデルとして活用したことに起因し、最小限のハイパーパrameterチューニングで実現可能であり、テストしたアーキテクチャを越えて広く適用可能である可能性を示唆している。