[論文レビュー] Adaptive Drift-Diffusion Process to Learn Time Intervals

François Rivest, Yoshua Bengio|arXiv (Cornell University)|Mar 11, 2011

Neural dynamics and brain function参考文献 19被引用数 31

ひとこと要約

本論文は、中心時計、無限蓄積器、事前定義された遅延ラインに依存せずに、時間間隔を学習する適応型ドリフト・ディフュージョンモデルを提案する。単純な時間積分器に幾何学的学習則を適用することで、時間間隔に比例する変動（ウェーバーの法則の精度）を達成し、間隔の長さに依存しない試行回数で収束する。これは神経系における時間間隔の計測の生物学的に妥当な解決策を提供する。

ABSTRACT

Animals learn the timing between consecutive events very easily. Their precision is usually proportional to the interval to time (Weber's law for timing). Most current timing models either require a central clock and unbounded accumulator or whole pre-defined populations of delay lines, decaying traces or oscillators to represent elapsing time. Current adaptive recurrent neural networks fail at learning to predict the timing of future events (the 'when') in a realistic manner. In this paper, we present a new model of interval timing, based on simple temporal integrators, derived from drift-diffusion models. We develop a simple geometric rule to learn 'when' instead of 'what'. We provide an analytical proof that the model can learn inter-event intervals in a number of trials independent of the interval size and that the temporal precision of the system is proportional to the timed interval. This new model uses no clock, no gradient, no unbounded accumulators, no delay lines, and has internal noise allowing generations of individual trials. Three interesting predictions are made.

研究の動機と目的

• 生物学的に妥当な方法で、イベント間隔の学習に取り組むこと。
• 中心時計、遅延ライン、またはオシレーターに依存する既存モデルの制限を克服すること。
• 「何が起こったか」ではなく「いつ起こったか」を学習できる再帰的ニューラルネットワークの開発。
• 時間の正確さが間隔の大きさに比例することを保証し、ウェーバーの法則に一致させること。
• 間隔の長さに依存しない試行回数で収束する学習則の提供。

提案手法

• 時間の経過を表すために、ドリフト・ディフュージョン過程から導かれた単純な時間積分器を用いる。
• フィードバックに基づいて積分器のパラメータを調整するための幾何学的学習則を適用し、「いつ」イベントが起こるかを学習可能にする。
• 勾配フリーであり、適応的閾値を用いることで無限蓄積を回避するように設計された学習則。
• 生物学的変動を模倣し、個々の試行の応答を生成可能にするために、内部ノイズを組み込む。
• 事前定義されたオシレーター集団、減衰する痕跡、または遅延ラインを必要としない。
• 解析的導出により、間隔の大きさに依存しない試行回数で収束することを示している。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークは、中心時計がなくても、将来のイベントのタイミングを予測できるか？
• RQ2 時間の正確さを間隔に比例させるような学習則は、どのように設計できるか？
• RQ3 間隔の長さに依存しない速やかな収束を達成できるか？
• RQ4 無限蓄積器や事前定義された遅延ラインを避けても、時間間隔の学習が可能か？
• RQ5 内部ノイズは、学習フレームワークにおいて個々の試行に特化した時間応答を可能にする役割を果たすか？

主な発見

• モデルは、間隔の大きさに依存しない試行回数でイベント間隔を学習し、効率的な学習を示している。
• 時間の正確さが、計測された間隔に比例し、時間計測におけるウェーバーの法則を満たしている。
• モデルは、中心時計、無限蓄積器、遅延ライン、または事前定義されたオシレーターを必要としない。
• 幾何学的学習則により、システムは「何が起こったか」ではなく「いつ起こったか」を学習できる。
• 内部ノイズのおかげで個々の試行の生成が可能となり、生物学的妥当性が向上している。
• 解析的証明により、モデルが有界な学習ステップで正しいタイミングに収束することが確認されている。