[論文レビュー] Feedforward Initialization for Fast Inference of Deep Generative Networks is biologically plausible

Yoshua Bengio, Benjamin Scellier+3 more|arXiv (Cornell University)|Jun 6, 2016

Cell Image Analysis Techniques参考文献 20被引用数 18

ひとこと要約

この論文は、連続する層が良好なオートエンコーダを形成することで、深層再帰的生成ネットワークにおける近似瞬時の推論を可能にするフィードフォワード初期化を提案している。これにより、ネットワークの初期状態が固定点に非常に近くなる。主な結果は、繰り返しの緩和を必要とせず、指数的かつ急速に収束できる点であり、フィードバック接続を持つモデルにおける迅速な推論の生物学的に妥当なメカニズムを提供する。

ABSTRACT

We consider deep multi-layered generative models such as Boltzmann machines or Hopfield nets in which computation (which implements inference) is both recurrent and stochastic, but where the recurrence is not to model sequential structure, only to perform computation. We find conditions under which a simple feedforward computation is a very good initialization for inference, after the input units are clamped to observed values. It means that after the feedforward initialization, the recurrent network is very close to a fixed point of the network dynamics, where the energy gradient is 0. The main condition is that consecutive layers form a good auto-encoder, or more generally that different groups of inputs into the unit (in particular, bottom-up inputs on one hand, top-down inputs on the other hand) are consistent with each other, producing the same contribution into the total weighted sum of inputs. In biological terms, this would correspond to having each dendritic branch correctly predicting the aggregate input from all the dendritic branches, i.e., the soma potential. This is consistent with the prediction that the synaptic weights into dendritic branches such as those of the apical and basal dendrites of pyramidal cells are trained to minimize the prediction error made by the dendritic branch when the target is the somatic activity. Whereas previous work has shown how to achieve fast negative phase inference (when the model is unclamped) in a predictive recurrent model, this contribution helps to achieve fast positive phase inference (when the target output is clamped) in such recurrent neural models.

研究の動機と目的

• 再帰的深層生成モデルにおける長時間にわたる反復的推論の生物学的不実現性と計算上の非効率性に対処すること。
• 脳にインspiredされたモデルで一般的な非時系列的再帰ネットワークにおいて、MCMC や固定点緩和に依存せずに高速推論を可能にすること。
• 良好なオートエンコーダ構造が再帰的ネットワークにおける迅速な収束を可能にすることを示し、高速フィードフォワードネットワークと再帰モデルの間のギャップを埋めること。
• マルチコンpartメントニューロンのダイナミクスと予測誤差最小化と整合する生物学的に妥当な推論メカニズムを提供すること。
• 実際の重み初期化のもとで高速推論が達成可能であることを示すことで、このようなモデルの効率的訓練の可能性を裏付けること。

提案手法

• 推論がエネルギー最小化としてモデル化される、ボトムアップおよびトップダウン接続を持つ再帰的確率的アーキテクチャを採用する。
• 入力から隠れ層へのフィードフォワードパスが、緩和の出発点としてネットワーク状態を初期化する。
• 鍵となる条件は、連続する層が良好なオートエンコーダを形成することであり、ボトムアップおよびトップダウン信号が合計入力に寄与する点で整合的であること。
• この手法は、樹状突起（例：頂部および基本的樹状突起）が平均セルソマティック活動を予測し、予測誤差を最小化するという仮定に依存する。
• エネルギー関数が固定点（安定状態）に対応するように定義され、初期化が良好であればシステムは急速に収束する。
• MNIST での実験を通じて、区分線形非線形関数と対称的重み初期化を用いて検証された。

実験結果

リサーチクエスチョン

• RQ1 連続する層が良好なオートエンコーダを形成する条件下で、フィードフォワードパスが再帰的深層生成ネットワークにおける高速推論の有効な初期化として機能する条件は何か？
• RQ2 ボトムアップとトップダウン信号の整合性は、固定点への収束速度にどのように影響するか？
• RQ3 連続する層間のオートエンコーダ構造は、フィードバック接続を持つ再帰的ネットワークで迅速な収束を保証できるか？
• RQ4 この高速推論メカニズムは、特に pyramidal 細胞の樹状突起計算と整合的であり、生物学的に妥当か？
• RQ5 このアプローチは、そうでなければ遅い反復的緩和を必要とするモデルにおいて、より高速な訓練と推論を可能にするか？

主な発見

• 連続する層が良好なオートエンコーダを形成する場合、1回のフィードフォワードパスの後、ネットワークはほぼ瞬時に固定点に収束する。
• 実験では MNIST で隠れ層500および1000ユニットを用い、オートエンコーダ条件を満たすと収束速度が指数的に速くなることが示された。
• 重みをランダムに初期化し、フィードバックとフィードフォワード重みを束ねた場合、収束は遅くなるが、訓練済みのオートエンコーダ重みを用いることで迅速な緩和が可能になる。
• フィードフォワードパス後の初期状態は、固定点にすでに極めて近いため、必要な反復回数が著しく減少する。
• この手法は異なる隠れ層サイズに対して頑健であり、一般化性を示している。
• 研究結果は最近のマルチコンパートメントニューロンの生物学的モデルと整合しており、シナプス重みが樹状突起の予測誤差を最小化するように学習されている可能性を示唆している。