[論文レビュー] Modularizing and Assembling Cognitive Map Learners via Hyperdimensional Computing

Nathan McDonald|arXiv (Cornell University)|Apr 10, 2023

Ferroelectric and Negative Capacitance Devices被引用数 6

ひとこと要約

本論文は、双方向グラフにおける目的に依存しないナビゲーションを可能にするために、ハイパーディメンショナルコンピューティング（HDC）と認知マップラーナー（CML）を統合するモジュラー枠組みを提案する。ノード状態を高次元ベクトルとして表現することで、グラフ走査（CML）とターゲット選択（HDC）を分離し、重ね合わせを用いて複数の刺激-反応モデルを独立して学習・動的組み合わせ可能にし、新しいアプリケーション固有の記号に対しても再訓練が不要となる。

ABSTRACT

Biological organisms must learn how to control their own bodies to achieve deliberate locomotion, that is, predict their next body position based on their current position and selected action. Such learning is goal-agnostic with respect to maximizing (minimizing) an environmental reward (penalty) signal. A cognitive map learner (CML) is a collection of three separate yet collaboratively trained artificial neural networks which learn to construct representations for the node states and edge actions of an arbitrary bidirectional graph. In so doing, a CML learns how to traverse the graph nodes; however, the CML does not learn when and why to move from one node state to another. This work created CMLs with node states expressed as high dimensional vectors suitable for hyperdimensional computing (HDC), a form of symbolic machine learning (ML). In so doing, graph knowledge (CML) was segregated from target node selection (HDC), allowing each ML approach to be trained independently. The first approach used HDC to engineer an arbitrary number of hierarchical CMLs, where each graph node state specified target node states for the next lower level CMLs to traverse to. Second, an HDC-based stimulus-response experience model was demonstrated per CML. Because hypervectors may be in superposition with each other, multiple experience models were added together and run in parallel without any retraining. Lastly, a CML-HDC ML unit was modularized: trained with proxy symbols such that arbitrary, application-specific stimulus symbols could be operated upon without retraining either CML or HDC model. These methods provide a template for engineering heterogenous ML systems.

研究の動機と目的

• グラフ走査（CML）とターゲット選択（HDC）を分離することで、より良いシステム構成を実現するモジュラーなアーキテクチャの開発。
• 各ノード状態が低レベルのCMLのターゲット状態を指定する階層的で多段階のCMLの構築。
• 再訓練なしで複数のHDCベースの刺激-反応モデルを重ね合わせて並列実行することの実証。
• プロキシ記号で学習した再利用可能なCML-HDCユニットの作成により、任意のアプリケーション固有の記号に再訓練なしで展開可能にすること。
• 合成的・記号的推論を可能にする、異種の機械学習システムを設計するためのテンプレートの提供。

提案手法

• ハイパーディメンショナルコンピューティング（HDC）操作を可能にするために、ノード状態を高次元ハイパーベクトル（HDV）として表現する。
• 双方向グラフ内でのノード状態とエッジ行動の学習を目的として、3つの協調的に訓練されたニューラルネットワークとしてCMLを訓練する。
• 各CMLノードのターゲットノード状態をHDCで符号化することで、複数レベルにわたる階層的走査を可能にする。
• 刺激と反応をHDVとして符号化することでHDCにおける刺激-反応モデルを構築し、複数のモデルの重ね合わせを可能にする。
• 複数のHDC経験モデルをベクトル加算によって結合し、再訓練なしで並列実行を実現する。
• プロキシ記号で学習したモジュラーなCML-HDCユニットを設計し、HDVマッピングにより新しいアプリケーション固有の記号に即座に統合可能にする。

実験結果

リサーチクエスチョン

• RQ1 認知マップラーナーは、ハイパーディメンショナルコンピューティングと統合・モジュラー化可能であり、グラフ内での階層的ナビゲーションを可能にするか？
• RQ2 複数の刺激-反応モデルは、HDCにおける重ね合わせによって再訓練なしに統合可能か？
• RQ3 CML-HDCユニットはプロキシ記号で学習した後、任意のアプリケーション固有の記号に再訓練なしで使用可能か？
• RQ4 グラフ知識（CML）とターゲット選択（HDC）は、どのように分離することでシステムのモularityと再利用性が向上するか？
• RQ5 記号的・ベクトルベースの学習フレームワーク内において、多段階・多モデルのHDC-CMLシステムの性能とスケーラビリティはいかほどか？

主な発見

• CML-HDCフレームワークは、グラフ走査とターゲット選択を成功裏に分離し、独立した学習とモジュラーな構成を可能にした。
• 複数のHDCベースの刺激-反応モデルが重ね合わせにより統合され、再訓練や干渉なしに並列実行された。
• プロキシ記号の学習とHDVマッピングを活用することで、新しいアプリケーション固有の記号に対しても再訓練なしに再利用可能なモジュラーCML-HDCユニットが実証された。
• 高レベルのCMLの各ノード状態が低レベルCMLのターゲット状態を指定するように階層的CMLが構築され、多段階ナビゲーションが可能となった。
• ベクトルの重ね合わせにより、動作の動的再構成が可能となり、微分可能なニューラルフレームワーク内でも柔軟で記号的推論に類似した推論が実現された。
• 本手法は、合成的・目的に依存しないナビゲーション機能を備えた、異種の機械学習システムを設計するためのスケーラブルなテンプレートを提供した。