[論文レビュー] Encoding Reality: Prediction-Assisted Cortical Learning Algorithm in Hierarchical Temporal Memory

Fergal Byrne|arXiv (Cornell University)|Sep 28, 2015

Ferroelectric and Negative Capacitance Devices参考文献 3被引用数 11

ひとこと要約

本稿では、予測的文脈入力を遠位性 dendrite から統合することで、系列学習および予測を向上させる、階層的時系列記憶（HTM）のコーティカル学習アルゴリズム（CLA）の数学的に厳密な改良版である予測支援型コーティカル学習アルゴリズム（paCLA）を提案する。主な貢献は、スパース分散表現（SDRs）、時間的プール、階層的系列記憶をモデル化する生物学的に妥当で計算的に強力なフレームワークを提供することであり、これにより、複雑な時空間パターンのノイズ耐性の高い認識および予測が可能になる。

ABSTRACT

In the decade since Jeff Hawkins proposed Hierarchical Temporal Memory (HTM) as a model of neocortical computation, the theory and the algorithms have evolved dramatically. This paper presents a detailed description of HTM's Cortical Learning Algorithm (CLA), including for the first time a rigorous mathematical formulation of all aspects of the computations. Prediction Assisted CLA (paCLA), a refinement of the CLA is presented, which is both closer to the neuroscience and adds significantly to the computational power. Finally, we summarise the key functions of neocortex which are expressed in paCLA implementations.

研究の動機と目的

• 階層的時系列記憶（HTM）におけるコーティカル学習アルゴリズム（CLA）の理論的基盤を強化するための、厳密な数学的定式化を提供すること。
• 予測支援型CLA（paCLA）を、生物学的正確性と計算能力の両方を向上させたCLAの改良版として開発すること。遠位性 dendrite からの予測的文脈入力を統合する。
• paCLAが、意味的表現、異常検出、階層的系列学習といった主要な新皮質機能をどのようにモデル化できるかを示すこと。
• HTMモデルと実験的皮質構造・機能の間の比較基盤を確立し、将来的な理論的・計算的拡張を支援すること。

提案手法

• 近位性（フィードフォワード入力）と遠位性（予測的文脈入力）の2つの樹状棘コンpartimentを持つHTMニューロンをモデル化。遠位性セグメントは、同時に活性化した場合にのみ、閾値を超えると樹状棘スパイクを生成する。
• 神経活動をバイナリ活性化ベクトルで表現。これは、高頻度のシナプス失敗率と神経ノイズの生物学的証拠によって裏付けられる。
• スパース分散表現（SDRs）を用い、高次元でスパースなバイナリコードとして神経活動を符号化。SDRsは意味的意味を表現し、ノイズや不完全な入力に対しても頑健に一般化できる。
• パターンメモリ（空間的プール）における修正されたシナプス可塑性ルールを採用。恒常値は、事前および事後のシナプス活性の一致に基づいて更新され、予測入力とバースト入力の両方に別々の学習率を適用する。
• 時間的プール（Temporal Pooling）を導入。これは、速やかに変化するLayer 4の入力から、安定的でゆっくり変化するLayer 2/3の表現に変換するプロセスをモデル化する。プールングニューロンは、予測されたSDRの系列を学習する。
• 学習ルールを拡張し、差分可塑性を導入。予測されたニューロンからのシナプスに対しては、増分率を高く、減少量を低く設定することで、予測可能な系列の選択的学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 コーティカル学習アルゴリズム（CLA）を、理論的分析や実験的比較を可能にする厳密な数学的定式化でどのように定式化できるか？
• RQ2 遠位性樹状棘からの予測的文脈入力を統合することで、HTMモデルの計算能力と生物学的妥当性はどの程度向上するか？
• RQ3 paCLAアルゴリズムは、ノイズや不完全な入力条件下でも、高次元の系列と安定した表現の学習をどの程度頑健に可能にするか？
• RQ4 HTMにおける時間的プールは、Layer 4（速やかに変化する入力）からLayer 2/3（安定的で系列レベルの表現）への機能的変換をどのようにモデル化するか？
• RQ5 意味的表現、異常検出、階層的処理といった、新皮質の核心的機能は、paCLAフレームワークによってどのように表現可能か？

主な発見

• paCLAアルゴリズムは、ノイズや欠損入力に対しても頑健なスパース分散表現（SDRs）の形成を成功裏にモデル化し、意味的一般化を可能にする。
• HTM層は、SDR間の高次元的遷移を自動的に学習し、将来の入力状態の予測と入力ダイナミクスの異常検出を可能にする。
• 時間的および階層的文脈によって強化された遷移メモリは、遠位性樹状棘からの予測入力を統合することで、不確実性下でもパターン認識を安定化させる。
• 時間的プールは、Layer 2/3が、速やかに変化するLayer 4の入力から、安定的でゆっくり変化する系列表現を形成できることを示し、皮質回路の階層的処理を効果的にモデル化する。
• 時間的プールにおける差分学習ルール（予測されたニューロンからのシナプスを優遇）により、予測可能な系列の選択的学習が可能となり、系列記憶形成のメカニズムを示している。
• paCLAフレームワークは、意味的符号化、系列学習、異常検出といった主要な操作を支援する、計算的に強力で生物学的に妥当な新皮質機能のモデルを提供する。