[论文解读] Efficient neuro-fuzzy system and its Memristor Crossbar-based Hardware Implementation

Farnood Merrikh-Bayat, Saeed Bagheri Shouraki|arXiv (Cornell University)|Mar 6, 2011

Advanced Memory and Neural Computing参考文献 20被引用 3

一句话总结

本文提出了一种新颖的神经模糊系统，通过基于新型蕴含技术的学习方法构建模糊关系，消除了对精确数学调参的需求。该系统采用基于忆阻器交叉阵列的模拟电路实现，具备固有的故障容错能力、非负突触权重以及实时计算能力，在存在50%故障忆阻器的情况下，对二输入非线性函数建模的均方误差仍可达到0.021。

ABSTRACT

In this paper a novel neuro-fuzzy system is proposed where its learning is based on the creation of fuzzy relations by using new implication method without utilizing any exact mathematical techniques. Then, a simple memristor crossbar-based analog circuit is designed to implement this neuro-fuzzy system which offers very interesting properties. In addition to high connectivity between neurons and being fault-tolerant, all synaptic weights in our proposed method are always non-negative and there is no need to precisely adjust them. Finally, this structure is hierarchically expandable and can compute operations in real time since it is implemented through analog circuits. Simulation results show the efficiency and applicability of our neuro-fuzzy computing system. They also indicate that this system can be a good candidate to be used for creating artificial brain.

研究动机与目标

• 开发一种神经模糊系统，将神经网络的自适应能力与模糊逻辑在不确定性下的认知推理能力相结合。
• 通过消除对精确数学方法在规则与隶属函数调参上的依赖，克服传统神经模糊系统的局限性。
• 利用忆阻器交叉阵列实现高效、可扩展且具备故障容错能力的硬件实现，以模拟生物突触。
• 展示适用于人工大脑应用的实时、分层且模拟计算的可行性。

提出的方法

• 系统通过一种新颖的蕴含方法构建模糊关系，该方法模拟主要赫布学习规则，确保所有突触权重保持非负。
• 采用忆阻器交叉阵列结构存储突触权重，通过电荷与磁通调节忆阻值，以模拟突触可塑性。
• 推理机制完全在模拟域运行，实现无需数字转换的实时计算。
• 通过连接多个交叉阵列单元，系统可实现分层扩展，以建模复杂、多输入函数。
• 训练使用从均匀分布的清晰数据和高斯隶属函数生成的模糊输入输出数据。
• 通过模拟50%忆阻器失效来评估故障容错能力，其中故障忆阻器被固定在Roff状态且无法重新编程。

实验结果

研究问题

• RQ1 是否可以设计一种神经模糊系统，使模糊逻辑与神经网络组件完全交织，难以区分两者？
• RQ2 能否开发一种学习方法，避免对隶属函数与规则进行精确数学调参，转而依赖模糊关系的构建？
• RQ3 基于忆阻器交叉阵列的模拟电路能否实现高连通性、故障容错性与实时运算，以支持神经模糊推理？
• RQ4 当大量忆阻器失效时，系统在多大程度上仍能保持精度？
• RQ5 与现有神经模糊系统及神经形态硬件方法相比，该系统在性能与效率方面表现如何？

主要发现

• 所提出的神经模糊系统在使用800组训练数据点建模二输入非线性函数时，实现了0.021的均方误差（MSE）。
• 即使约50%的忆阻器发生故障（固定在Roff状态），系统仍保持可接受的精度，在相同建模任务中实现了0.0281的MSE。
• 系统表现出固有的故障容错能力，在交叉阵列中近一半忆阻器完全失效的情况下仍能满意运行。
• 基于模糊关系构建的学习过程等价于主要赫布规则，确保所有突触权重保持非负，且无需精确调节。
• 基于模拟忆阻器交叉阵列的实现方式支持实时计算，并可通过分层扩展用于复杂函数建模。
• 当输入与输出被解释为置信度时，该系统的推理机制与基于忆阻器交叉阵列的神经网络高度相似，显示出在人工大脑应用方面的强大潜力。