[논문 리뷰] Modularizing and Assembling Cognitive Map Learners via Hyperdimensional Computing

Nathan McDonald|arXiv (Cornell University)|2023. 04. 10.

Ferroelectric and Negative Capacitance Devices인용 수 6

한 줄 요약

이 논문은 이중 방향 그래프에서 목표 무관 탐색을 가능하게 하기 위해 초차원 계산(HDC)과 인지 지도 학습자(CML)를 통합하는 모듈러 프레임워크를 제안한다. 노드 상태를 고차원 벡터로 표현함으로써, 그래프 탐색(CML)과 목표 선택(HDC)을 분리함으로써, 슈퍼포지션을 통한 다수의 자극-반응 모델의 독립적 훈련 및 동적 조합이 가능해지며, 새로운 응용 분야의 기호를 위해 재훈련이 필요 없게 된다.

ABSTRACT

Biological organisms must learn how to control their own bodies to achieve deliberate locomotion, that is, predict their next body position based on their current position and selected action. Such learning is goal-agnostic with respect to maximizing (minimizing) an environmental reward (penalty) signal. A cognitive map learner (CML) is a collection of three separate yet collaboratively trained artificial neural networks which learn to construct representations for the node states and edge actions of an arbitrary bidirectional graph. In so doing, a CML learns how to traverse the graph nodes; however, the CML does not learn when and why to move from one node state to another. This work created CMLs with node states expressed as high dimensional vectors suitable for hyperdimensional computing (HDC), a form of symbolic machine learning (ML). In so doing, graph knowledge (CML) was segregated from target node selection (HDC), allowing each ML approach to be trained independently. The first approach used HDC to engineer an arbitrary number of hierarchical CMLs, where each graph node state specified target node states for the next lower level CMLs to traverse to. Second, an HDC-based stimulus-response experience model was demonstrated per CML. Because hypervectors may be in superposition with each other, multiple experience models were added together and run in parallel without any retraining. Lastly, a CML-HDC ML unit was modularized: trained with proxy symbols such that arbitrary, application-specific stimulus symbols could be operated upon without retraining either CML or HDC model. These methods provide a template for engineering heterogenous ML systems.

연구 동기 및 목표

• 그래프 탐색(CML)과 목표 선택(HDC)을 분리함으로써 향상된 시스템 조합을 위한 모듈러 아키텍처를 개발하는 것.
• 각 노드 상태가 하위 수준 CML의 목표 상태를 지정하는 다수 수준의 계층적 CML을 가능하게 하는 것.
• 재훈련 없이도 초과(superposition)를 통해 다수의 HDC 기반 자극-반응 모델을 병렬 실행할 수 있도록 하는 것.
• 프록시 기호로 훈련된 재사용 가능한 CML-HDC 유닛을 만들되, 이후 응용 분야에 특화된 기호로 재훈련 없이 배치할 수 있도록 하는 것.
• 조합적이고 기호 유사 추론 기능을 갖춘 이질적 기계 학습 시스템을 설계하기 위한 템플릿을 제공하는 것.

제안 방법

• 초차원 하이퍼벡터(HDVs)로 노드 상태를 표현하여 초차원 계산(HDC) 연산을 가능하게 하는 것.
• 이중 방향 그래프에서 노드 상태와 간선 행동을 학습하기 위해 세 개의 협동 훈련된 신경망으로 CML을 훈련하는 것.
• 각 CML 노드의 목표 노드 상태를 HDC로 인코딩하여 다수 수준에 걸친 계층적 탐색을 가능하게 하는 것.
• 자극과 반응을 HDV로 인코딩하여 HDC에서 자극-반응 모델을 구성함으로써, 다수의 모델을 초과하여 조합할 수 있도록 하는 것.
• 벡터 덧셈을 통해 다수의 HDC 경험 모델을 결합하여, 재훈련 없이도 병렬 실행이 가능하도록 하는 것.
• 프록시 기호로 훈련된 모듈러 CML-HDC 유닛을 설계하여, HDV 매핑을 통해 새로운 응용 분야 기호로 즉시 사용할 수 있도록 하는 것.

실험 결과

연구 질문

• RQ1 인지 지도 학습자(CML)는 초차원 계산(HDC)과 함께 모듈러화되고 조합되어 그래프에서 계층적 탐색을 가능하게 할 수 있는가?
• RQ2 재훈련 없이도 초과를 통해 다수의 자극-반응 모델을 HDC에서 조합할 수 있는가?
• RQ3 CML-HDC 유닛은 프록시 기호로 훈련된 후, 재훈련 없이도 임의의 응용 분야 기반 기호로 사용할 수 있는가?
• RQ4 그래프 지식(CML)과 목표 선택(HDC)은 어떻게 분리되어야 하며, 이는 시스템의 모듈화와 재사용성을 향상시키는가?
• RQ5 기호 기반의 벡터 기반 학습 프레임워크에서, 다수 수준 및 다수 모델을 갖춘 HDC-CML 시스템의 성능 및 확장성은 어떠한가?

주요 결과

• CML-HDC 프레임워크는 그래프 탐색과 목표 선택을 성공적으로 분리하여, 독립적 훈련과 모듈러 조합이 가능하게 했다.
• 다수의 HDC 기반 자극-반응 모델이 초과를 통해 조합되었으며, 재훈련이나 간섭 없이 병렬 실행이 가능했다.
• 프록시 기호 훈련과 HDV 매핑을 활용하여, 새로운 응용 분야 기호로 재사용 가능한 모듈러 CML-HDC 유닛이 입증되었다.
• 각 고수준 CML의 노드 상태가 하위 수준 CML의 목표 상태를 지정하는 계층적 CML이 구성되었으며, 이는 다수 수준 탐색을 가능하게 했다.
• 벡터 초과를 통한 동적 재구성으로, 기호 유사 추론이 가능한 유연한, 미분 가능한 신경망 프레임워크 내에서의 행동 조정이 가능했다.
• 이 접근법은 조합적이고 목표 무관 탐색 기능을 갖춘 이질적 기계 학습 시스템을 설계하기 위한 확장 가능한 템플릿을 제공한다.