[論文レビュー] Recurrent neural network models for working memory of continuous variables: activity manifolds, connectivity patterns, and dynamic codes

Christopher J. Cueva, Adel Ardalan+2 more|arXiv (Cornell University)|Nov 1, 2021

Neural dynamics and brain function参考文献 40被引用数 5

ひとこと要約

この論文は、局所的興奮性/広範囲的抑制性結合パターンと動的コーディングを介して、Cliffordトーラスに類似した活動多様体を介して、再帰的ニューラルネットワーク（RNNs）が複数の連続的作業記憶項目をどのように記憶するかを調査している。主な発見は、このような幾何学的構造が2つの方向の直交的記憶を可能にし、干渉を最小限に抑えることができることであり、ノイズによって誘発される上位階層の順序記憶が下位階層の絶対的記憶を制約するようになることで、人間の心理物理学的行動を再現している。

ABSTRACT

Many daily activities and psychophysical experiments involve keeping multiple items in working memory. When items take continuous values (e.g., orientation, contrast, length, loudness) they must be stored in a continuous structure of appropriate dimensions. We investigate how this structure is represented in neural circuits by training recurrent networks to report two previously shown stimulus orientations. We find the activity manifold for the two orientations resembles a Clifford torus. Although a Clifford and standard torus (the surface of a donut) are topologically equivalent, they have important functional differences. A Clifford torus treats the two orientations equally and keeps them in orthogonal subspaces, as demanded by the task, whereas a standard torus does not. We find and characterize the connectivity patterns that support the Clifford torus. Moreover, in addition to attractors that store information via persistent activity, our networks also use a dynamic code where units change their tuning to prevent new sensory input from overwriting the previously stored one. We argue that such dynamic codes are generally required whenever multiple inputs enter a memory system via shared connections. Finally, we apply our framework to a human psychophysics experiment in which subjects reported two remembered orientations. By varying the training conditions of the RNNs, we test and support the hypothesis that human behavior is a product of both neural noise and reliance on the more stable and behaviorally relevant memory of the ordinal relationship between the two orientations. This suggests that suitable inductive biases in RNNs are important for uncovering how the human brain implements working memory. Together, these results offer an understanding of the neural computations underlying a class of visual decoding tasks, bridging the scales from human behavior to synaptic connectivity.

研究の動機と目的

• 神経回路が、2つの順次提示された方向といった、複数の連続的作業記憶項目をどのように記憶するかを理解すること。
• 再帰的神経活動において複数の連続的値を表現するための最適な幾何学的構造（例：Cliffordトーラス対標準トーラス）を特定すること。
• 作業記憶において、複数の連続変数の安定的かつ直交的表現を支える結合パターンを同定すること。
• 神経のチューニングが時間とともにシフトする動的コーディングが、逐次入力におけるメモリ上書きを防ぐ仕組みとして果たす役割を調査すること。
• ノイズと階層的デコードが、RNNsで人間の心理物理学的行動を再現できるかどうかをテストすること。

提案手法

• フィードバックを伴う教師あり学習を用いて、再帰的ニューラルネットワーク（RNNs）を、2回にわたってフラッシュ表示された刺激の方向を報告するように訓練する。
• 刺激終了後の再帰的ユニットの低次元活動多様体を分析し、その幾何学的構造（例：Clifford対標準トーラス）を特定する。
• トポロジカルには同等でもメトリクスが異なる多様体を区別するため、直交性および並行性のテストを実施する。
• 再帰的ユニット間の結合パターンを検討し、各方向固有の局所的興奮性/広範囲的抑制性モチーフを同定する。
• 時間経過に伴う神経のチューニングカーブの変化を追跡し、最初の記憶が2番目の入力によって上書きされるのを防ぐ動的コーディング機構を特定する。
• 再帰的ユニットにノイズを注入し、人間の心理物理学タスクをシミュレートすることで、上位階層の順序記憶が下位階層の絶対的記憶報告を制約するかどうかを検証する。

実験結果

リサーチクエスチョン

• RQ1 2つの連続的作業記憶項目を記憶するための活動多様体に最も適した幾何学的構造は何か？
• RQ2 局所的興奮性/広範囲的抑制性結合パターンが、複数の連続的値の直交的記憶をどのように支えるのか？
• RQ3 神経のチューニングが時間とともにシフトする動的コーディングが、逐次入力におけるメモリ上書きを防ぐ役割を果たす仕組みは何か？
• RQ4 RNNsにおけるノイズが、順序関係が絶対的記憶報告を制約するという人間の心理物理学的発見を再現できるか？
• RQ5 なぜ標準的なフィードフォワードネットワークは、重複する入力を含む作業記憶タスクで人間の行動パターンを再現できないのか？

主な発見

• 2つの記憶された方向の活動多様体は、それぞれの方向に直交する部分空間を維持できるため、標準トーラスではなくCliffordトーラスに類似している。
• Cliffordトーラスに類似した多様体は、各方向ごとに異なる局所的興奮性/広範囲的抑制性結合パターンによって支えられており、干渉を最小限に抑える。
• 神経ユニットは時間経過とともにチューニングを動的にシフトし、アトラクター状態から、最初の記憶が2番目の入力によって上書きされるのを防ぐ新しい構成に移行する。
• 再帰的ユニットにおけるノイズは、上位階層の順序記憶が下位階層の絶対的方向のデコードを制約するのを可能にし、人間の心理物理学的結果の主要な側面を再現する上で不可欠である。
• 順序的制約がないRNNの訓練では人間の行動を再現できないため、人間の作業記憶は神経的ノイズと安定した順序的関係の両方に依存していることが示唆される。
• 標準的なフィードフォワードネットワークは、人間の心理物理学で観察される階層的デコードを再現できないため、正確な行動モデリングには再帰的ダイナミクスとノイズの両方が不可欠であることが強調される。