[論文レビュー] Cortical microcircuits as gated-recurrent neural networks

Rui Ponte Costa, Yannis Assael+3 more|arXiv (Cornell University)|Nov 7, 2017

Advanced Memory and Neural Computing参考文献 57被引用数 31

ひとこと要約

この論文は、サブラーニング・ゲーティング（subtractive inhibition）を用いてゲーティングを実装する、生物学的に妥当な再帰的ニューラルネットワークであるsubLSTMを提案する。これは、皮質マイクロサーキットの構造を模倣したものであり、言語モデリングおよび順序付き画像分類タスクにおいて、標準LSTMと同等の性能を達成することを示している。これは、皮質サーキットが抑制的制御を通じてゲーティング・リカレントネットワークとして機能している可能性を示唆している。

ABSTRACT

Cortical circuits exhibit intricate recurrent architectures that are remarkably similar across different brain areas. Such stereotyped structure suggests the existence of common computational principles. However, such principles have remained largely elusive. Inspired by gated-memory networks, namely long short-term memory networks (LSTMs), we introduce a recurrent neural network in which information is gated through inhibitory cells that are subtractive (subLSTM). We propose a natural mapping of subLSTMs onto known canonical excitatory-inhibitory cortical microcircuits. Our empirical evaluation across sequential image classification and language modelling tasks shows that subLSTM units can achieve similar performance to LSTM units. These results suggest that cortical circuits can be optimised to solve complex contextual problems and proposes a novel view on their computational function. Overall our work provides a step towards unifying recurrent networks as used in machine learning with their biological counterparts.

研究の動機と目的

• 人工再帰的ニューラルネットワークと生物学的皮質マイクロサーキットの間のギャップを埋めるために、LSTMの生物学的に妥当な代替手法を提案すること。
• 皮質サーキットに一般的に見られる減法的抑制が、系列処理のための効果的なゲーティングを実現できるかを調査すること。
• 生物学的制約を課したアーキテクチャ、すなわちsubLSTMが、ベンチマークタスクで標準LSTMと同等の性能を示すかを評価すること。
• 既知の皮質サーキット構造と複雑な文脈的計算の間のリンクを示す、検証可能な計算フレームワークを提供すること。

提案手法

• 抑制が興奮性入力に対して減法的に作用するゲーティング・リカレントネットワークとしてsubLSTMを提案し、皮質マイクロサーキットにおける興奮と抑制のバランスをモデル化する。
• LSTMアーキテクチャを、標準の興奮性-抑制性（EI）皮質マイクロサーキットにマッピングし、乗法的ゲートを側方抑制的制御に置き換える。
• 抑制性 interneuron が興奮性入力の流れを減法的に制御する生物学的に現実的なゲーティングメカニズムを採用し、ネットワークの安定性を維持する。
• subLSTMモデルの学習に、時間による誤差逆伝播（backpropagation through time）を用い、標準LSTMとの公平な比較が行えるようハイパーパrameterを調整する。
• 一般化を向上させるために重み共有とドロップアウト正則化を採用し、subLSTM、LSTM、fix-subLSTMバリアント間でパラメータ数が一致するようモデルサイズを調整する。
• 順序付き画像分類（ピクセル単位のMNIST）および言語モデリング（Penn Treebank、Wikitext-2）の両方で、Perplexity や精度といった標準指標を用いて実験的評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 皮質マイクロサーキットのダイナミクスを模倣する減法的抑制を用いた再帰的ニューラルネットワークが、標準LSTMと同等の性能を達成できるか？
• RQ2 LSTMの構成要素と既知の皮質マイクロサーキット構造との間に、直接的かつ生物学的に妥当なマッピングが存在するか？
• RQ3 乗法的ゲートの代わりに減法的抑制を用いることで、系列処理における長期的文脈情報の保持能力が維持されるか？
• RQ4 subLSTMモデルが、興奮と抑制のバランスといった生物学的制約を守りながら、LSTMの文脈記憶機能を再現できるか？
• RQ5 このマッピングの知見は、感覚処理および作業記憶における皮質マイクロサーキットの計算的機能を理解する上で、どのような意味を持つのか？

主な発見

• subLSTMは、順序付き画像分類および言語モデリングタスクにおいて、標準LSTMと同等の性能を示しており、すべてのベンチマークで類似したPerplexityと精度を達成している。
• Penn Treebank データセットでは、100個の隠れユニットを用いた場合、subLSTMはテストPerplexity約70.5を達成し、同等のハイパーパrameter設定下でLSTMと同等の性能を示した。
• Wikitext-2 データセットでは、100個の隠れユニットを用いた場合、subLSTMはテストPerplexity約62.3を達成し、LSTMベースラインと密接に一致した。
• subLSTMの各層間でパラメータを共有するfix-subLSTMバリアントは、パラメータ数を削減しながらも性能を維持しており、生物学的制約のあるネットワークにおいても効率的な重み共有が可能であることを示唆している。
• 結果から、減法的抑制が再帰的ネットワークにおけるゲーティングを効果的に実現できることを示しており、皮質サーキットが類似した計算を実行している可能性を支持する。
• 本研究は、深層学習ベンチマークを用いて、皮質サーキットにおける抑制的制御に関する生物学的仮説を検証可能なフレームワークを提供している。