[論文レビュー] Controlling Recurrent Neural Networks by Conceptors

Herbert Jaeger|arXiv (Cornell University)|Mar 13, 2014

Neural Networks and Reservoir Computing参考文献 106被引用数 91

ひとこと要約

本稿では、再帰的ニューラルネットワークの動的挙動を形作ることで制御する、学習可能で低ランクの線形作用素であるコンセプタ（conceptors）を導入する。オンラインアルゴリズムを用いてコンセプタ行列を学習することで、干渉を伴わずに、記憶、再取得、形態変化、論理的結合が可能な動的パターンを、1つのリザボアーシステム内で、ロバストでノイズ耐性があり、段階的な学習が可能になる。

ABSTRACT

The human brain is a dynamical system whose extremely complex sensor-driven neural processes give rise to conceptual, logical cognition. Understanding the interplay between nonlinear neural dynamics and concept-level cognition remains a major scientific challenge. Here I propose a mechanism of neurodynamical organization, called conceptors, which unites nonlinear dynamics with basic principles of conceptual abstraction and logic. It becomes possible to learn, store, abstract, focus, morph, generalize, de-noise and recognize a large number of dynamical patterns within a single neural system; novel patterns can be added without interfering with previously acquired ones; neural noise is automatically filtered. Conceptors help explaining how conceptual-level information processing emerges naturally and robustly in neural systems, and remove a number of roadblocks in the theory and applications of recurrent neural networks.

研究の動機と目的

• 再帰的ニューラルネットワークにおける複雑で非線形な神経動的挙動を、構造的で概念レベルの認知に整理する課題に取り組む。
• 1つの再帰的ネットワーク内で、災害的干渉を伴わずに、複数の動的パターンを記憶・再取得可能にする。
• 線形代数的作用素を用いて、概念的抽象化、パターンの形態変化、論理演算（例：AND、OR）を可能にするメカニズムを提供する。
• 内容アドレスラブルメモリと階層的フィルタリングをサポートする生物学的に妥当な神経制御フレームワークを開発する。
• カテゴリー理論的基盤を用いて、コンセプタベースの推論を形式論理と統合する。

提案手法

• 学習済みの動的パターンに対応する部分空間に、リザボアーステートを射影する低ランク線形作用素としてのコンセプタ行列を導入する。
• 再帰的最小二乗法を用いたオンライン学習アルゴリズムを採用し、部分的なパターン学習を可能にする。
• 部分空間の幅を制御するアペルチャパラメータ α を定義し、パターン間の滑らかな遷移とノイズフィルタリングを可能にする。
• 行列の代数的結合を用いて、コンセプタにおけるブール演算（AND、OR、NOT）を定義し、部分空間構造を保持する。
• 下位レベルのコンセプタがパターンをフィルタリング・分類し、上位レベルのコンセプタに供給する階層的アーキテクチャを適用する。
• 形式的機関理論的枠組みを用いて、コンセプタ論理をカテゴリー理論に埋め込み、動的システム上での厳密な論理的推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークは、干渉を伴わずに、複数の明確に異なる動的パターンを記憶・再取得できるようにどのように制御できるか？
• RQ2 1つのリザボアーネットワークが、新しいパターンを段階的に学習しつつ、以前に学習したパターンを保持できるか？
• RQ3 コンセプタは、数学的に一貫した方法で、動的パターンの論理的演算（例：交差、和集合）を可能にするか？
• RQ4 アペルチャパラメータ α は、パターンの特徴強調、ノイズフィルタリング、一般化のバランスをどのように果たすか？
• RQ5 コンセプタベースのシステムは、内容アドレスラブルメモリと複雑な時系列パターンの階層的分類をサポートできるか？

主な発見

• コンセプタ行列学習アルゴリズムにより、1つのリザボアーネットワーク内で、整数周期的および無理数周期的動的パターンのインクリメンタルかつ干渉のない記憶が可能である。
• アペルチャパラメータ α は部分空間の幅を制御する：α が小さいほどパターンの焦点が明確になり、α が大きいほど一般化とノイズフィルタリングが可能になる。
• コンセプタにおけるブール演算は代数的に定義され、論理的一致性が保たれる。特に可換性や結合性といった、証明済みの恒等式が存在する。
• コンセプタ更新関数のヤコビアンの固有値解析により、適切な条件下でシステムが安定な固定点に収束することが示された。
• 自己適応型のオートコンセプタ（autoconceptors）は、部分的またはノイズのある入力に基づいてパターンを再取得できるように訓練可能であり、内容アドレスラブルメモリの挙動を示す。
• コンセプタを用いた階層的フィルタリングおよび分類アーキテクチャは、複雑なパターン（例：日本語の母音）の分類を、ノイズや部分的入力に対して頑健に正確に実現した。