[論文レビュー] On the Dynamics of a Recurrent Hopfield Network

Rama Murthy Garimella, Berkay Kicanaoglu+1 more|arXiv (Cornell University)|Feb 9, 2015

Neural Networks and Applications参考文献 3被引用数 5

ひとこと要約

本稿では、非対称なシナプス重みを有する有向グラフ構造を備えた、新規の実数および複素数値の再帰的ホフスタッドニューラルネットワーク（RHNN）を提案する。このネットワークは再帰的ダイナミクスを実現する。安定状態または長さ≥2のサイクルに収束し、サイクル中にはエネルギーの安定化が見られる。これは、マルチパターン連想記憶やコンSENSUSに基づく状態記憶への応用を支援する。

ABSTRACT

In this research paper novel real/complex valued recurrent Hopfield Neural Network (RHNN) is proposed. The method of synthesizing the energy landscape of such a network and the experimental investigation of dynamics of Recurrent Hopfield Network is discussed. Parallel modes of operation (other than fully parallel mode) in layered RHNN is proposed. Also, certain potential applications are proposed.

研究の動機と目的

• 従来のホフスタッドネットワークで見られる無向グラフの制限を克服するため、有向グラフ構造を有する再帰的ホフスタッドニューラルネットワーク（RHNN）の開発を目的とする。
• 標準的な完全並列モードを超えて、シリアル更新および並列更新を含むさまざまな動作モードにおけるRHNNのダイナミクスを調査することを目的とする。
• RHNNのダイナミクス的挙動および記憶特性を制御するために、カスタムエネルギーのランドスケープを合成することを目的とする。
• 安定状態または長さが異なるサイクルに収束するネットワークの能力を活用した応用の可能性を探索することを目的とする。

提案手法

• 非対称なシナプス重み行列Mとしきい値ベクトルTを用いて、RHNNを非線形動的システムとして形式化する。ニューロンの状態は±1として定義される。
• 状態更新則 $ V_i(t+1) = \text{Sign}(\sum_{j=1}^N M_{ij}V_j(t) - T_i) $ を採用し、ネットワークの状態遷移に有向サイクルを実現する。
• ブロック構造を有する重み行列を備えたレイヤードRHNNを導入し、シリアルと完全並列更新の間の途中の並列動作モードを可能にする。
• シミュレーションを通じてネットワークのダイナミクスを分析し、さまざまな初期条件における状態遷移、収束、エネルギーの変化を追跡する。
• エネルギー関数の分析を用いて、収束時およびサイクル動作時の挙動を特徴づけ、エネルギー値が一定または変動するのを観察する。
• 重み行列の極性（すべて正、すべて負、混合）を変化させた場合のネットワーク挙動を評価し、サイクル形成と安定性の理解を深める。

実験結果

リサーチクエスチョン

• RQ1 有向グラフ構造を有する再帰的ホフスタッドネットワークにおいて、非対称なシナプス重み行列がダイナミクスに与える影響は何か？
• RQ2 シリアル、並列、およびレイヤード並列といった異なる更新モードにおけるRHNNの収束および発振挙動はどのように変化するか？
• RQ3 RHNNのエネルギー関数を用いて、長さ≥2のサイクルを含むアトラクタの安定性を特徴づけたり予測したりできるか？
• RQ4 初期条件が異なる場合に、複数のサイクルが形成されたり、単一のサイクルにコンセンサスが取られる条件は何か？
• RQ5 特にサイクルとエネルギーの変動が観察される動的挙動は、記憶およびパターン認識応用にどのように活用できるか？

主な発見

• 非対称な重み行列を有するRHNNは、行列に混合極性が含まれる場合に特に長さ≥2のサイクルを示す。これは、対称ホフスタッドネットワークが長さ≤2のサイクルしか許容しないのとは対照的である。
• シナプス重み行列がすべて正またはすべて負の場合、ネットワークは単一の安定状態または2サイクルに収束し、予測可能なダイナミクスを示す。
• 並列モードでは、20個以上のニューロンを有する大きなネットワークは、合理的な反復回数内に検出可能な安定パターンに到達できないことが多く、スケーラビリティの課題を示唆している。
• サイクル中にはエネルギー値が安定化するものがあり、一部のケースではエネルギーが一定（例：サイクル35、58–69、21–106）であり、他のケースでは振動を示す（例：42–5、22–119–92–94）ため、異なるダイナミクス的レジームが存在する。
• 異なる初期条件から複数の異なるサイクルが得られ、これは、異なるアトラクタ集合へのコンセンサスを介したマルチグループ記憶の可能性を示している。
• 混合極性の接続を持つネットワークは特定の状態または状態の組み合わせを好む傾向があり、ハミング距離が近い入力は、同じサイクルまたは安定状態に収束する傾向がある。これは、入力の変動に対して強い耐性を示している。