[論文レビュー] Learning in cognitive systems with autonomous dynamics

Claudius Gros, Gregor Kaczor|ArXiv.org|Apr 8, 2008

Neural dynamics and brain function参考文献 16被引用数 6

ひとこと要約

本稿では、自己持続的内部活動状態間の遷移期に、教師なし特徴抽出が発生する生物学的にインspiredな学習フレームワークを提案する。密度が高く均質な自己相関ネットワーク（dHAN）を用い、競合的ダイナミクスを活用することで、一時的アトラクタ間の遷移期（感受性期間）に、外部の監視なしに自律的に学習信号を生成する。これにより、バーフィルター入力に対して高速かつ教師なし独立成分分析が可能になる。

ABSTRACT

The activity patterns of highly developed cognitive systems like the human brain are dominated by autonomous dynamical processes, that is by a self-sustained activity which would be present even in the absence of external sensory stimuli. During normal operation the continuous influx of external stimuli could therefore be completely unrelated to the patterns generated internally by the autonomous dynamical process. Learning of spurious correlations between external stimuli and autonomously generated internal activity states needs therefore to be avoided. We study this problem within the paradigm of transient state dynamics for the internal activity, that is for an autonomous activity characterized by a infinite time-series of transiently stable attractor states. We propose that external stimuli will be relevant during the sensitive periods, the transition period between one transient state and the subsequent semi-stable attractor. A diffusive learning signal is generated unsupervised whenever the stimulus influences the internal dynamics qualitatively. For testing we have presented to the model system stimuli corresponding to the bar-stripes problem and found it capable to perform the required independent-component analysis on its own, all the time being continuously and autonomously active.

研究の動機と目的

• 外部入力に依存せず、内在的で自己持続的な神経ダイナミクスによって駆動される自律的認知システムのパラダイムを構築すること。
• 非常に自律的なシステムにおいて、外部刺激と内部で生成された活動パターンの間の誤った相関関係を回避する課題に対処すること。
• 感覚入力が内部ダイナミクスに意味的に影響を与えるタイミングと方法を特定すること。ただし、システムの自律的運用を損なわないようにすること。
• 一時的アトラクタ状態間の特定の遷移段階（感受性期間）にのみ、学習が活性化される教師なし学習メカニズムを実装すること。
• この学習メカニズムが、バーフィルター入力のようなスパarsな時間的入力に対して、独立成分分析を実行する可能性を検証すること。

提案手法

• 時間的変動する一時的で半安定なアトラクタ状態の系列を生成する、密度が高く均質な自己相関ネットワーク（dHAN）を用いて内部ダイナミクスをモデル化する。
• 連続時間のレートダイナミクスにより神経活動を定義し、成長率 $ r_i(t) $ に従う。$ r_i > 0 $ の場合、$ \dot{x}_i = (1 - x_i)r_i $ であり、$ r_i < 0 $ の場合、$ \dot{x}_i = x_i r_i $ である。
• 外部刺激が内部ダイナミクスに質的に影響を与え、学習を引き起こすことが可能な「感受性期間」——一時的状態間の遷移区間——を導入する。
• 感覚入力がこれらの感受性期間中に内部ダイナミクスの軌道を変化させると、無教師的に拡散的学習信号が生成される。
• 合成シナプス重み $ v_{ij}^{pq} $ に対して直交化手順（式6）を適用し、重なり合う勝者集合を可能にするとともに、飽和を防ぐ。これは「間違いによる学習」と一貫する。
• 15セルの線形チェーンdHANを用い、14の潜在的勝者集合（例：(0,1), (1,2), ..., (14,15)）を想定して、受容野と10種類のバーフィルター入力パターンに対する特徴応答をシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 認知系は、外部刺激からの学習を維持しながら、誤った相関関係を形成することなく、自律的内部ダイナミクスを保ち続けることができるか？
• RQ2 外部刺激が内部ダイナミクスに意味的に影響を与え、学習を誘発できる時間的条件（特に、遷移段階）とは何か？
• RQ3 自己持続的ダイナミカルシステムは、一時的状態遷移のみを学習のトリガーとして用いて、教師なし独立成分分析を実行できるか？
• RQ4 重なり合う勝者集合と非飽和のシナプス更新は、競合的で自律的なネットワークにおける特徴抽出性能にどのように影響を与えるか？
• RQ5 本手法の学習メカニズムは、スパarsで準連続的入力など、さまざまな入力条件下でも頑健であると見なせるか？

主な発見

• 本モデルは、一時的状態遷移のみを学習のトリガーとして用いて、10本のバーフィルター入力問題に対して教師なし独立成分分析を成功裏に実行した。
• 学習は迅速かつ教師なしで発生し、14の潜在的勝者集合それぞれに明確な受容野が形成された（図7参照）。
• 受容野には正負の重みが共存しており、直交化手順（式6）に起因する複雑な直交化シナプス構成を反映している。
• 式6に従い、活性化、直交化、非活性化の寄与をバランスさせることで、シナプスの飽和を回避した。これは「間違いによる学習」の原則と整合的である。
• 過剰な受容野（独立入力パターン数より多くの勝者集合）にもかかわらず、特徴抽出の性能が頑健であることが示されたが、一部のバー（例：最後から2番目の縦棒）は完全に解明されていない。
• 予備的な結果から、本フレームワークは多様な入力条件下でも機能を維持することが示唆され、今後の自然画像解析や連続的入力への応用が期待できる。