[論文レビュー] Efficient neuro-fuzzy system and its Memristor Crossbar-based Hardware Implementation

Farnood Merrikh-Bayat, Saeed Bagheri Shouraki|arXiv (Cornell University)|Mar 6, 2011

Advanced Memory and Neural Computing参考文献 20被引用数 3

ひとこと要約

本稿では、新しい含意技法に基づく学習手法を用いて、正確な数学的チューニングを不要とする、新規のニューロファジーシステムを提案する。このシステムは、自己修復性を有するメモリスティブクロスバー構造に基づくアナログ回路を用いて実装されており、故障耐性、非負のシナプス重み、リアルタイム計算を備え、2入力非線形関数のモデル化において、50%の故障したメモリスティブを有しても平均二乗誤差0.021を達成する。

ABSTRACT

In this paper a novel neuro-fuzzy system is proposed where its learning is based on the creation of fuzzy relations by using new implication method without utilizing any exact mathematical techniques. Then, a simple memristor crossbar-based analog circuit is designed to implement this neuro-fuzzy system which offers very interesting properties. In addition to high connectivity between neurons and being fault-tolerant, all synaptic weights in our proposed method are always non-negative and there is no need to precisely adjust them. Finally, this structure is hierarchically expandable and can compute operations in real time since it is implemented through analog circuits. Simulation results show the efficiency and applicability of our neuro-fuzzy computing system. They also indicate that this system can be a good candidate to be used for creating artificial brain.

研究の動機と目的

• 不確実性下での認知的推論を有するファジーロジックと、ニューラルネットワークの適応性を統合したニューロファジーシステムの開発。
• ルールおよびメンバーシップ関数のチューニングに正確な数学的技法に依存しない、従来のニューロファジーシステムの限界を克服すること。
• 生物学的シナプスを模倣するメモリスティブクロスバーを用いた、効率的でスケーラブルかつ故障耐性を有するハードウェア実装の実現。
• 人工脳の応用に適した、リアルタイムで階層的かつアナログ計算が可能なシステムの実現。

提案手法

• システムは、主なヘブシアン学習則を模倣する新規な含意手法を用いてファジーリレーションを構築し、すべてのシナプス重みが非負のまま保たれるようにする。
• メモリスティブクロスバー構造を用いてシナプス重みを保存し、電荷と磁束によってメモリスタンスを変調することで、シナプス可塑性を模倣する。
• 推論機構は完全にアナログドメインで動作し、デジタル変換を経ることなくリアルタイム計算を実現する。
• 複数のクロスバー単位を接続することで、複雑な多入力関数をモデル化可能な階層的拡張が可能である。
• 学習には、一様分布するクリップスデータとガウス型メンバーシップ関数から生成されたファジーデータを用いる。
• 故障耐性は、50%のメモリスティブが故障した状態をシミュレートすることで評価し、故障したメモリスティブはRoffに固定され、再プログラミングが不可能であると仮定する。

実験結果

リサーチクエスチョン

• RQ1 ファジーロジックとニューラルネットワークのコンponentsが完全に融合したニューロファジーシステムを設計可能か？その場合、両者の区別が困難になるか？
• RQ2 メンバーシップ関数やルールの正確な数学的チューニングを回避し、ファジーリレーション形成に依存する学習手法を開発可能か？
• RQ3 メモリスティブクロスバー型アナログ回路が、ニューロファジーインファレンスに適した高密度接続性、故障耐性、リアルタイム動作を達成可能か？
• RQ4 多数のメモリスティブが故障した場合、システムの精度をどの程度維持できるか？
• RQ5 既存のニューロファジーやニューロモルフィックハードウェア手法と比較して、性能および効率に優れるか？

主な発見

• 提案されたニューロファジーシステムは、800件のトレーニングデータを用いて2入力非線形関数をモデル化した際、平均二乗誤差（MSE）0.021を達成した。
• 約50%のメモリスティブが故障（Roffに固定）した状態でも、同じモデル化タスクにおいてMSE 0.0281を維持し、妥当な精度を発揮した。
• システムは内在的な故障耐性を示し、クロスバー内の半数のメモリスティブがほぼ完全に故障した状態でも、満足できる性能を維持して動作した。
• ファジーリレーション形成に基づく学習プロセスは、主なヘブシアン則と同等であり、正確な調整を要せず、すべてのシナプス重みが非負のまま保たれた。
• アナログでメモリスティブクロスバーに基づく実装により、リアルタイム計算が可能であり、複雑な関数モデル化に向けた階層的拡張も可能である。
• システムの推論機構は、入力と出力を信頼度と解釈した場合、メモリスティブクロスバー型ニューラルネットワークと類似しており、人工脳の応用に強く有望である。