[論文レビュー] The Neural Coding Framework for Learning Generative Models

Alexander G. Ororbia, Daniel Kifer|arXiv (Cornell University)|Dec 7, 2020

Neural Networks and Applications被引用数 4

ひとこと要約

この論文は、深層生成モデルの学習のためのバックプロパゲーションとは異なる生物学的にインスピレーションを受けて設計された、ニューラル生成コーディング（NGC）フレームワークを提案する。ニューロンを階層的な予測を実行するとみなし、局所的な誤差信号によって重みを更新することで、脳における予測処理を模倣する。バックプロパゲーションを一切用いず、画像生成、表現学習、パターン補完のタスクで競争力のある性能を達成する。

ABSTRACT

Neural generative models can be used to learn complex probability distributions from data, to sample from them, and to produce probability density estimates. We propose a computational framework for developing neural generative models inspired by the theory of predictive processing in the brain. According to predictive processing theory, the neurons in the brain form a hierarchy in which neurons in one level form expectations about sensory inputs from another level. These neurons update their local models based on differences between their expectations and the observed signals. In a similar way, artificial neurons in our generative models predict what neighboring neurons will do, and adjust their parameters based on how well the predictions matched reality. In this work, we show that the neural generative models learned within our framework perform well in practice across several benchmark datasets and metrics and either remain competitive with or significantly outperform other generative models with similar functionality (such as the variational auto-encoder).

研究の動機と目的

• バックプロパゲーションに依存しない生物学的に妥当な学習フレームワークを、生成モデル用に開発すること。
• 深層ネットワークにおけるバックプロパゲーションの限界、例えば非局所的責任割り当てや横方向接続の欠如を解消すること。
• 神経科学的原則と実用的な機械学習のギャップを埋えるために、階層的かつ局所的な方法で神経予測と誤差補正をモデル化すること。
• 予測処理に基づくフレームワークが、生成モデルタスクにおいて競争力のある性能を達成できることを示すこと。
• 局所的で階層的かつ予測ベースの学習メカニズムが、下流タスクに適した汎用的表現を生成できることを調査すること。

提案手法

• 各層が下位層の活動を生成的シナプス重みを用いて予測する階層的ニューラルネットワークアーキテクチャを提案する。
• 予測誤差に基づく局所的誤差駆動型シナプス更新を採用し、予測処理と自由エネルギー最小化にインスパイアされている。
• 変分推論フレームワークを用いて変分自由エネルギーを最小化し、バックプロパゲーションを一切用いずにエンドツーエンドの学習を可能にする。
• 予測誤差を後退的に伝搬させ、それを局所的なシナプス重みの更新に用いるメッセージスレッディング機構を導入する。
• ヘブニアンに類似した学習則を用いてシナプス可塑性を実現し、局所的かつ生物学的に妥当な重み更新を保証する。
• 二段階の学習プロセスを採用する：第一段階では認識ネットワークが潜在状態を推論し、第二段階では生成モデルが学習済み重みと予測メカニズムを用いてデータを合成する。

実験結果

リサーチクエスチョン

• RQ1 予測処理に基づく生物学的にインスピレーションを受けて設計された学習フレームワークは、バックプロパゲーションを用いずに深層生成モデルを効果的に学習できるか？
• RQ2 局所的で階層的な予測と誤差に基づく学習は、バックプロパゲーションと比較して、生成性能および表現品質においてどのように異なるか？
• RQ3 提案されたフレームワークは、分離可能で意味のある表現を学習でき、分類やパターン補完といった下流タスクを支援できるか？
• RQ4 NGCフレームワークは、[68] や [22] に示された既知のモデルをどの程度回復・一般化できるか？
• RQ5 このフレームワークは、脳における責任割り当ての理解や、より生物学的に妥当な人工エージェントの設計にどのような意味を持つのか？

主な発見

• NGCフレームワークは、MNIST、CIFAR-10、CelebAといったベンチマークデータセットにおいて、画像生成および密度推定タスクで競争力のある性能を達成する。
• NGCモデルは、下流分類およびパターン補完タスクにおいて優れた性能を示し、汎用的かつ分離可能な表現が学習されていることを示している。
• 学習済みシナプス重みの可視化から、高層層が出力における低レベルの視覚的特徴の構成を制御する動的で文脈に依存するマップを形成していることがわかった。
• フレームワークは[68] や [22] に示された既知のモデルを効果的に回復・一般化しており、既存の変分推論フレームワークと理論的に整合していることが示された。
• NGCモデルは横方向の競合とスパースな活性化パターンを示しており、構造的かつ生物学的に妥当な表現の出現が示唆された。
• フレームワークはバックプロパゲーションを一切用いずにエンドツーエンドの学習を可能にし、局所的で階層的かつ予測ベースの学習メカニズムが、効果的な生成モデルを生成できることを示した。