[论文解读] Controlling Recurrent Neural Networks by Conceptors

Herbert Jaeger|arXiv (Cornell University)|Mar 13, 2014

Neural Networks and Reservoir Computing参考文献 106被引用 91

一句话总结

本文提出了概念器（conceptors）——一種可學習的低秩線性運算子，能透過塑造網絡的動態行為來控制遞歸神經網絡。透過使用線上演算法學習概念器矩陣，網絡可在不產生干擾的情況下儲存、檢索、轉換與邏輯組合動態模式，從而實現單一水庫系統中對複雜時間模式的穩健、抗噪且增量式的學習。

ABSTRACT

The human brain is a dynamical system whose extremely complex sensor-driven neural processes give rise to conceptual, logical cognition. Understanding the interplay between nonlinear neural dynamics and concept-level cognition remains a major scientific challenge. Here I propose a mechanism of neurodynamical organization, called conceptors, which unites nonlinear dynamics with basic principles of conceptual abstraction and logic. It becomes possible to learn, store, abstract, focus, morph, generalize, de-noise and recognize a large number of dynamical patterns within a single neural system; novel patterns can be added without interfering with previously acquired ones; neural noise is automatically filtered. Conceptors help explaining how conceptual-level information processing emerges naturally and robustly in neural systems, and remove a number of roadblocks in the theory and applications of recurrent neural networks.

研究动机与目标

• 解決在遞歸神經網絡中將複雜、非線性的神經動態組織為結構化、概念級認知的挑戰。
• 實現在單一遞歸網絡中儲存與檢索多個動態模式，且不產生災難性干擾。
• 提供一種機制，透過線性代數運算子對動態模式進行概念抽象、形變與邏輯運算（例如AND、OR）。
• 發展一種生物上合理的神經控制框架，支援內容尋址記憶與層次過濾。
• 透過概念器邏輯的範疇理論基礎，統合動態系統理論與形式邏輯。

提出的方法

• 提出概念器矩陣作為低秩線性運算子，將水庫狀態投影至對應於已學習動態模式的子空間。
• 採用線上學習演算法，使用遞歸最小二乘法更新概念器矩陣，實現增量式模式學習。
• 定義孔徑參數α以控制子空間寬度，實現模式之間的平滑過渡與雜訊過濾。
• 透過矩陣的代數組合定義概念器上的布林運算（AND、OR、NOT），並保持子空間結構。
• 採用層次架構，使低層次的概念器負責過濾與分類模式，輸出至高階概念器以實現抽象。
• 使用形式機構理論框架，將概念器邏輯嵌入範疇理論，實現對動態系統的嚴謹邏輯推理。

实验结果

研究问题

• RQ1 如何控制遞歸神經網絡，以在不產生干擾的情況下儲存與檢索多個不同的動態模式？
• RQ2 單一水庫網絡是否能支援新模式的增量學習，同時保留先前學習的內容？
• RQ3 概念器如何以數學上一致的方式實現對動態模式的邏輯運算（例如交集、並集）？
• RQ4 孔徑參數α在平衡模式特異性、雜訊過濾與泛化能力方面發揮何種作用？
• RQ5 基於概念器的系統是否能支援內容尋址記憶與複雜時間模式的層次分類？

主要发现

• 概念器矩陣學習演算法可在單一水庫網絡中實現對整數週期與無理週期動態模式的增量式、非干擾儲存。
• 孔徑參數α控制子空間寬度：α越小，模式聚焦越明確；α越大，則越有利於泛化與雜訊過濾。
• 概念器上的布林運算以代數方式定義，並保持邏輯一致性，已證明其具有交換律與結合律等性質。
• 對概念器更新函數的Jacobian矩陣進行特徵值分析顯示，在適當條件下系統會收斂至穩定的不動點。
• 自適應概念器（autoconceptors）可訓練為根據部分或雜訊輸入檢索模式，展現內容尋址記憶行為。
• 採用概念器的層次過濾與分類架構能精確分類複雜模式（例如日語母音），且對雜訊與部分輸入具有強健性。