[論文レビュー] Towards Biologically Plausible Deep Learning

Yoshua Bengio, Dong-Hyun Lee+3 more|arXiv (Cornell University)|Feb 14, 2015

Neural dynamics and brain function参考文献 37被引用数 296

ひとこと要約

本稿では、変分目的関数における確率的勾配降下法としてのスパイク時刻依存可塑性（STDP）の解釈を通じて、バックプロパゲーションを回避する生物学的に妥当な深層ニューラルネットワークの学習フレームワークを提案する。ニューラルダイナミクスとノイズ除去オートエンコーダーの訓練による近似的な推論が、バックプロパゲーションに代わって機能し、生成モデルの性能を競争力のある水準に保つことを示している。

ABSTRACT

Neuroscientists have long criticised deep learning algorithms as incompatible with current knowledge of neurobiology. We explore more biologically plausible versions of deep representation learning, focusing here mostly on unsupervised learning but developing a learning mechanism that could account for supervised, unsupervised and reinforcement learning. The starting point is that the basic learning rule believed to govern synaptic weight updates (Spike-Timing-Dependent Plasticity) arises out of a simple update rule that makes a lot of sense from a machine learning point of view and can be interpreted as gradient descent on some objective function so long as the neuronal dynamics push firing rates towards better values of the objective function (be it supervised, unsupervised, or reward-driven). The second main idea is that this corresponds to a form of the variational EM algorithm, i.e., with approximate rather than exact posteriors, implemented by neural dynamics. Another contribution of this paper is that the gradients required for updating the hidden states in the above variational interpretation can be estimated using an approximation that only requires propagating activations forward and backward, with pairs of layers learning to form a denoising auto-encoder. Finally, we extend the theory about the probabilistic interpretation of auto-encoders to justify improved sampling schemes based on the generative interpretation of denoising auto-encoders, and we validate all these ideas on generative learning tasks.

研究の動機と目的

• 深層学習におけるバックプロパゲーションの生物学的不実現性、特に対称的重みの依存性や正確な誤差信号伝搬に起因する問題を解決すること。
• STDPに機械学習的解釈を与え、深層ネットワークにおける効率的な責任割り当てを可能にすること。
• 神経ダイナミクスと変分推論に基づく共通フレームワークを用いて、教師あり、教師なし、強化学習を統合すること。
• 前向きおよび後向き活性化伝播による訓練を経たノイズ除去オートエンコーダーが、バックプロパゲーションを必要とせずに勾配更新を近似できることを示すこと。
• 反復的推論を用いた生成モデルタスクでのアプローチの妥当性を検証し、尤度とサンプル品質の向上を示すこと。

提案手法

• フィードバック信号が神経細胞の発火頻度を勾配方向に調整することで、STDPを変分目的関数における確率的勾配降下法として解釈する。
• 隠れ状態をデータと隠れ変数の同時尤度を最大化するように更新することで、確率的グラフィカルモデルにおける近似的な推論として神経ダイナミクスをモデル化する。
• 入力を汚染された状態から再構成するペアの層を学習するノイズ除去オートエンコーダー構造を用い、重みの一致を必要とせず、前向きおよび後向き伝播による勾配推定を可能にする。
• 近似的事後分布を用いた変分EMフレームワークを適用し、Eステップを神経ダイナミクスで実装し、MステップをSTDPに基づく重み更新で実行する。
• 隠れ状態を前提とした可視入力の尤度を反復的に最大化することで、欠損した入力を埋め込む、修正された推論手順を導入する。
• 推論プロセスにノイズを注入することでMCMCサンプリングを近似し、標準的な変分推論を上回るサンプル品質の向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 STDPは、深層ネットワークにおける責任割り当てを可能にする確率的勾配降下法の一種として解釈可能か？
• RQ2 正確なMCMCサンプリングを必要とせずに、神経ダイナミクスを確率的モデルにおける近似的な推論にどのように応用できるか？
• RQ3 前向きおよび後向き伝播による訓練を経たノイズ除去オートエンコーダーは、深層学習におけるバックプロパゲーションを置き換えられるか？
• RQ4 ノイズ注入を伴う反復的推論が、変分EMに基づく生成モデルの品質を向上させるか？
• RQ5 このフレームワークは、教師あり、教師なし、強化学習を1つの生物学的に妥当なメカニズムで統合できるか？

主な発見

• STDPは変分目的関数における確率的勾配降下法として解釈可能であり、深層ネットワークにおける責任割り当ての生物学的に妥当なメカニズムを提供する。
• 目的関数の値を向上させる方向に発火頻度を調整する神経ダイナミクスは、正確なMCMCサンプリングを必要としない確率的モデルにおける近似的な推論に対応する。
• 提案手法は、標準的な変分推論と比較して、より高い同時尤度とサンプル品質を達成する生成学習タスクで競争力のある性能を示す。
• モデル自身のダイナミクスを用いた反復的推論は、欠損データ補完に効果的であることが実証されており、汚染された入力の再構成が可能である。
• 前向きおよび後向き活性化伝播によるノイズ除去オートエンコーダーの訓練は、対称的重みや誤差のバックプロパゲーションを必要とせず、勾配更新を近似する。
• 推論中にノイズを注入することでサンプリング品質が向上し、生物学的に妥当なフレームワーク内でMCMCに類似した推論への道筋が示唆される。