[論文レビュー] Learning temporal relationships between symbols with Laplace Neural Manifolds

Marc W. Howard, Zahra G. Esfahani+2 more|arXiv (Cornell University)|Feb 20, 2023

Neural dynamics and brain functionNeuroscience被引用数 3

ひとこと要約

本論文は、ラプラースニューラル多様体を用いて、出来事間の時間的関係を学習する神経生物学的に妥当なフレームワークを提案する。脳の時間的記憶は、過去の出来事の実ラプラス変換としてモデル化される。多様なシナプス時定数を活用することで、未来の出来事の連続的予測が可能となり、時間的信用配分のためのラプラース時系列差分が導入され、明示的な時間的記憶を統合する新しい種類の強化学習の基盤が提供される。

ABSTRACT

Firing across populations of neurons in many regions of the mammalian brain maintains a temporal memory, a neural timeline of the recent past. Behavioral results demonstrate that people can both remember the past and anticipate the future over an analogous internal timeline. This paper presents a mathematical framework for building this timeline of the future. We assume that the input to the system is a time series of symbols--sparse tokenized representations of the present--in continuous time. The goal is to record pairwise temporal relationships between symbols over a wide range of time scales. We assume that the brain has access to a temporal memory in the form of the real Laplace transform. Hebbian associations with a diversity of synaptic time scales are formed between the past timeline and the present symbol. The associative memory stores the convolution between the past and the present. Knowing the temporal relationship between the past and the present allows one to infer relationships between the present and the future. With appropriate normalization, this Hebbian associative matrix can store a Laplace successor representation and a Laplace predecessor representation from which measures of temporal contingency can be evaluated. The diversity of synaptic time constants allows for learning of non-stationary statistics as well as joint statistics between triplets of symbols. This framework synthesizes a number of recent neuroscientific findings including results from dopamine neurons in the mesolimbic forebrain.

研究の動機と目的

• 脳が連続時間において出来事間の時間的関係を学習し、表現する方法を説明する数学的枠組みを開発すること。
• 過去と予測された未来の状態を実ラプラス変換としてモデル化することで、強化学習に時間的記憶を統合すること。
• 従来の強化学習の限界を克服し、ラプラース時系列差分を用いて時間的信用配分を可能にすること。
• 神経時間軸の証拠を踏まえて、時間的連関の学習に神経生理学的に妥当なメカニズムを提供すること。
• 対数スケールでのラプラース領域パラメータのサンプリングにより、時間スケールにわたるスケール共変性を確立し、時間スケールにわたる頑健性を支援すること。

提案手法

• 時間的記憶は、神経集団が時間定数 $ s $ でインデックスされた発火率として、過去の刺激の実ラプラス変換として表現される。
• 多様な時定数を持つヘブ型シナプス可塑性により、過去と現在の出来事間の関連付けが形成され、時間的関係の学習が可能になる。
• 未来の予測は、同じラプラース領域表現を用いて現在から未来へと時間的記憶を拡張することで生成される。
• 時間的信用配分は、予測された結果と実際の結果を比較することでラプラース時系列差分によって計算される。
• モデルは $ s $ の対数スケールを用いることで、スケール共変性を確保し、時間スケールにわたる頑健性を実現する。
• ラプラス変換の性質（例えば、平行移動不変性や畳み込み演算）を活用することで、時間的変換の効率的計算が可能になる。

Figure 1: Guide to notation. A. Sign conventions. At the present moment $t$ , objective time $\tau$ runs from $-\infty$ to $\infty$ . $\tau=0$ corresponds to time $t$ . The real Laplace domain variable $s$ runs from $0^{+}$ to $+\infty$ for both past and future, approximated as $s_{\textnormal{min}}

実験結果

リサーチクエスチョン

• RQ1 脳は連続時間において出来事間の時間的関係をどのように表現し、学習することができるか？
• RQ2 同一の枠組み内で過去の記憶と未来の予測の両方が可能となる神経的メカニズムは何か？
• RQ3 脳の連続的時間処理を反映した形で、時間的信用配分をどのように計算できるか？
• RQ4 複数の時間スケールにわたる頑健な時間処理を実現するため、時間定数の対数スケールがなぜ必要か？
• RQ5 ラプラス変換は、明示的な時間的記憶を統合する新しい種類の強化学習の生物学的に妥当な基盤として機能できるか？

主な発見

• モデルは、同じ実ラプラス変換表現を用いて過去の記憶と未来の予測を成功裏に表現し、統一的な時間的フレームワークを実現した。
• 多様なシナプス時定数の使用により、単一の時定数では到底到達できない長期間の試行履歴における時間的関係の符号化が可能になった。
• ラプラース時系列差分は、予測された結果と実際の結果を比較することで、時間的信用配分の神経生理学的に妥当なメカニズムを提供した。
• フレームワークはスケール共変性を有する：時間のスケーリングは $ s $-軸に沿った単純な平行移動に相当し、モデル構造が保存され、時間スケールにわたる頑健性が確保される。
• ラプラス領域における神経表現は、平行移動や畳み込みといった、データに依存しない効率的かつ一般化可能な演算を可能にし、高速かつ汎用的な計算を実現した。
• モデルの対数時間スケールは、神経時間定数の実証的観察と整合しており、聴覚的・視覚的タスクでの異なる速度の時間的出来事への一般化を支援した。

Figure 2: Neural manifolds to construct a log compressed timeline of the past and the future. Top: A temporal relationship exists between x and y such that y always follows x after a delay of $\tau_{o}$ seconds. Consider how the internal timeline ought to behave after x is presented at $t=0$ . At ti