[論文レビュー] Learning dynamic Boltzmann machines with spike-timing dependent plasticity

Takayuki Osogami, Makoto Otsuka|arXiv (Cornell University)|Sep 29, 2015

Neural dynamics and brain function参考文献 31被引用数 11

ひとこと要約

本稿では、学習則をスパイク時刻依存可塑性（STDP）として解釈することにより、正確で局所的かつ収束性を保証する時系列モデル化が可能な構造的パラメータを備えた動的ボルツマンマシン（DyBM）を提案する。DyBM-∞モデルは長期記憶をサポートし、時間遡及的な誤差逆伝播を回避し、組み込みのホメオスタシス的可塑性を備えたSTDPに類似した長期強化と長期抑制を実現する。

ABSTRACT

We propose a particularly structured Boltzmann machine, which we refer to as a dynamic Boltzmann machine (DyBM), as a stochastic model of a multi-dimensional time-series. The DyBM can have infinitely many layers of units but allows exact and efficient inference and learning when its parameters have a proposed structure. This proposed structure is motivated by postulates and observations, from biological neural networks, that the synaptic weight is strengthened or weakened, depending on the timing of spikes (i.e., spike-timing dependent plasticity or STDP). We show that the learning rule of updating the parameters of the DyBM in the direction of maximizing the likelihood of given time-series can be interpreted as STDP with long term potentiation and long term depression. The learning rule has a guarantee of convergence and can be performed in a distributed matter (i.e., local in space) with limited memory (i.e., local in time).

研究の動機と目的

• 有限次元マルコフモデルを超える長距離依存性を捉えることができる確率的時系列モデルの開発。
• 時間的ダイナミクスとスパイク時刻依存可塑性（STDP）を組み込んだボルツマンマシンのための学習則の形式化。
• 時系列データに対して、分散的かつ空間的・時間的に局所的な学習を可能にし、収束性を保証する。
• 生物学的ニューロンネットワークにおけるSTDPと、無向グラフィカルモデルにおける最尤学習との間の理論的関連を確立する。
• 時間遡及的な誤差逆伝播と消失勾配問題を回避することで、従来の再帰的モデルの限界を克服する。

提案手法

• DyBMを無限に多くの層を持つボルツマンマシンとして定義し、各層が多次元時系列の過去の時刻を符号化するようにする。
• シナプス重みを時間遅れの幾何級数関数の和として構造化することで、解析的取り扱いやすさと局所的学習を可能にする。
• 観測された時系列データの尤度を最大化する学習則を、履歴を条件とする次回の値の条件付き分布の下で導出する。
• 学習則がSTDPに正確に還元されることを示す：事前に発火する前シナプスが後続の後シナプス発火を伴うと長期強化となり、逆に後から発火する場合は長期抑制となる。
• 最近のスパイク履歴を保存するためのFIFOキューを用いて局所的学習を実装し、低メモリ使用量と時間的局所性を確保する。
• 期待発火率に基づくホメオスタシス的可塑性メカニズムを導入し、学習の安定化と発散の防止を実現する。

実験結果

リサーチクエスチョン

• RQ1 ボルツマンマシンは、完全な履歴依存性を有しながらも、効率的な学習を可能にするように拡張可能か？
• RQ2 このようなモデルにおける最尤学習則は、長期強化と長期抑制を併せ持つSTDPに自然に一致するか？
• RQ3 時間遡及的な誤差逆伝播を用いずに、空間的・時間的に局所的な分散型学習が可能か？
• RQ4 DyBMにおける収束性と局所的学習を保証するためのパラメータ構造的制約は何か？
• RQ5 期待発火率に基づくホメオスタシス機構の導入は、DyBMにおける学習安定性にどのように影響するか？

主な発見

• DyBM-∞モデルは任意の長さの時間的依存性を表現可能であり、有限次元マルコフモデルの限界を克服する。
• 最尤推定から導出された学習則は、長期強化と長期抑制を併せ持つSTDPに正確に一致する。
• 学習率が十分に小さい限り、学習プロセスは収束が保証される。各更新が訓練データの尤度を増加させるためである。
• 学習則は空間的・時間的に完全に局所的である：局所的スパイク情報と有限長のFIFOキューでの過去スパイク履歴のみが必要である。
• 期待発火率に基づく新しいホメオスタシス的可塑性メカニズムが形式的に導出され、学習の安定化を示している。
• DyBMは消失勾配問題を回避し、時間遡及的な誤差逆伝播を必要とせず、標準的なRNNとは明確に異なる。