[論文レビュー] Bottleneck of using single memristor as a synapse and its solution

Farnood Merrikh-Bayat, Saeed Bagheri Shouraki+1 more|arXiv (Cornell University)|Aug 20, 2010

Advanced Memory and Neural Computing参考文献 15被引用数 11

ひとこと要約

本稿では、単一のメモリスタをシナプスとして用いる場合、非線形なメモリスタンスの変化に起因して、シナプス重みの更新レートが変動し、STDP学習が不安定化することを特定している。これを解決するために、逆極性を有する2つの直列接続されたメモリスタを用いる手法を提案しており、これにより更新レートが安定化され、初期メモリスタンス値にかかわらず一貫したSTDP性能が得られる。

ABSTRACT

It is now widely accepted that memristive devices are perfect candidates for the emulation of biological synapses in neuromorphic systems. This is mainly because of the fact that like the strength of synapse, memristance of the memristive device can be tuned actively (e.g., by the application of volt- age or current). In addition, it is also possible to fabricate very high density of memristive devices (comparable to the number of synapses in real biological system) through the nano-crossbar structures. However, in this paper we will show that there are some problems associated with memristive synapses (memristive devices which are playing the role of biological synapses). For example, we show that the variation rate of the memristance of memristive device depends completely on the current memristance of the device and therefore it can change significantly with time during the learning phase. This phenomenon can degrade the performance of learning methods like Spike Timing-Dependent Plasticity (STDP) and cause the corresponding neuromorphic systems to become unstable. Finally, at the end of this paper, we illustrate that using two serially connected memristive devices with different polarities as a synapse can somewhat fix the aforementioned problem.

研究の動機と目的

• 単一メモリスタシナプスにおける非線形なメモリスタンス変化が引き起こすSTDPベースのニューロモルフィックシステムにおける不安定性を調査すること。
• メモリスタンスの変化レートが現在のメモリスタンスに強く依存することを特定し、これが不均一なシナプス重み更新を引き起こすことを明らかにすること。
• 初期メモリスタンス値に依存しない均一なSTDP更新動作を保証する、ハードウェアに適合可能な解決策を開発すること。
• 逆極性を有する二重メモリスタ構成が、学習中のシナプス重みダイナミクスを安定化させられることを示すこと。

提案手法

• 逆極性を有する2つの直列接続されたメモリティブデバイスから成るシナプス構造を提案し、合計メモリスタンスを一定に保つ。
• 同一のメモリティブデバイスを用い、ΔR値を同一にすることで、電圧誘起スイッチング時の対称的かつ予測可能な挙動を確保する。
• 初期メモリスタンスを、2つのデバイスのメモリスタンスの合計が初期化時に固定された所定の値に等しくなるように設定する。
• 直列ペア全体の電流が一定であることに着目し、初期メモリスタンスに依存しない一貫した更新レートを実現する。
• 異なる初期メモリスタンス値を用いたSTDP学習のシミュレーションにより、更新関数がデバイス間で不変であることを確認する。
• HPメモリスタモデルを用いて検証し、境界効果に対しても頑健であり、他のメモリティブデバイスへも一般化可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 初期メモリスタンスに依存するメモリスタンス変化レートの非線形性が、メモリスタニューラルネットワークにおけるSTDP学習にどのように影響するか？
• RQ2 なぜ単一メモリスタをシナプスとして用いる場合、STDP学習において発散的挙動が生じるのか？
• RQ3 逆極性を有する二重メモリスタ構成が、異なる初期状態においてもシナプス重みの更新を安定化させられるか？
• RQ4 提案手法が、STDP更新関数を初期メモリスタンス値からどれほど分離できるか？
• RQ5 直列ペアにおける一定の合計メモリスタンスが、一貫した電流および更新ダイナミクスをどのように保証するか？

主な発見

• 単一メモリスタにおけるメモリスタンス変化レートは顕著に非線形であり、現在のメモリスタンスに強く依存しており、これが不均一なシナプス重み更新を引き起こす。
• この依存性により、各シナプス重みに対して異なるSTDP更新関数が生じ、学習プロセスの不安定化を引き起こす可能性がある。
• 逆極性を有する2つの直列接続メモリスタを用いることで、合計メモリスタンスが安定化され、一定の電流と均一な更新レートが確保される。
• 初期メモリスタンスの合計値を固定し、デバイスを同一にした場合、初期値にかかわらずすべてのシナプス重みにおいてSTDP更新関数がほぼ同一になる。
• シミュレーション結果（図9）により、二重メモリスタ構成を用いることで、異なる初期条件下でもSTDP更新関数が不変であることが確認された。
• 境界効果を考慮しても有効であるため、本ソリューションは頑健かつ一般化可能である。