[논문 리뷰] Brain-Inspired Self-Organization with Cellular Neuromorphic Computing for Multimodal Unsupervised Learning

Lyes Khacef, Laurent Rodriguez외 1명|arXiv (Cornell University)|2020. 04. 11.

Advanced Memory and Neural Computing참고 문헌 106인용 수 19

한 줄 요약

이 논문은 헤비안 유사 학습과 재진입 메커니즘을 사용한 자가조직화를 통해 다중모달 비지도 학습을 가능하게 하는 뇌에 영감을 받은 신경모방 아키텍처인 재진입 자기조직화 맵(ReSOM)을 제안한다. 수렴과 발산을 활용한 다중모달 추론과 시냅스 절단을 통한 하드웨어 유연성 유도로, 문장/말하기 숫자 및 DVS/EMG 수동 제스처 데이터셋에서 각각 +8.03% 및 +5.67%의 정확도 향상을 달성한다.

ABSTRACT

Cortical plasticity is one of the main features that enable our ability to learn and adapt in our environment. Indeed, the cerebral cortex self-organizes itself through structural and synaptic plasticity mechanisms that are very likely at the basis of an extremely interesting characteristic of the human brain development: the multimodal association. In spite of the diversity of the sensory modalities, like sight, sound and touch, the brain arrives at the same concepts (convergence). Moreover, biological observations show that one modality can activate the internal representation of another modality when both are correlated (divergence). In this work, we propose the Reentrant Self-Organizing Map (ReSOM), a brain-inspired neural system based on the reentry theory using Self-Organizing Maps and Hebbian-like learning. We propose and compare different computational methods for unsupervised learning and inference, then quantify the gain of the ReSOM in a multimodal classification task. The divergence mechanism is used to label one modality based on the other, while the convergence mechanism is used to improve the overall accuracy of the system. We perform our experiments on a constructed written/spoken digits database and a DVS/EMG hand gestures database. The proposed model is implemented on a cellular neuromorphic architecture that enables distributed computing with local connectivity. We show the gain of the so-called hardware plasticity induced by the ReSOM, where the system's topology is not fixed by the user but learned along the system's experience through self-organization.

연구 동기 및 목표

• 자기조직화를 통해 비지도 다중모달 학습을 가능하게 하는 뇌에 영감을 받은 계산 모델을 개발하는 것.
• 경험에 기반해 연결성을 동적으로 구조화하는 뉴로모픽 시스템을 구현하여皮질 유연성과 유사하게 만드는 것.
• 자기조직화 아키텍처에서 수렴 및 발산 메커니즘을 사용한 다중모달 융합의 성능 향상을 정량화하는 것.
• 세포 기반 뉴로모픽 FPGA 구현에서 시냅스 절단을 통한 통신 감소를 통해 하드웨어 효율성을 입증하는 것.

제안 방법

• ReSOM 모델은 코호넨 기반 자기조직화 맵(SOM)을 사용하여 시각 및 청각과 같은 별개의 감각 입력으로부터 단모달 표현을 학습한다.
• 상관된 모달리티를 나타내는 뉴런 간 연결을 강화하기 위해 헤비안 유사 학습을 적용하여 시냅스 성장 및 절단을 통한 구조적 유연성 유도.
• 양방향 신호 교환을 위한 재진입 파라다임을 활용하여 수렴(공통 개념 형성)과 발산(다중모달 활성화)을 모두 지원.
• 승법적 업데이트 메커니즘이 맵 간 활동 수준을 정규화하여, 추가 하이퍼파rameter가 필요 없이 일관된 전역 최적 매칭 유닛(BMU) 선택을 가능하게 한다.
• 반복 격자(IG) 세포 기반 뉴로모픽 프레임워크에 아키텍처를 구현하여, FPGA에서 분산된 국소 연결 기반 계산을 가능하게 한다.
• 시스템의 다중맵 간 연결성은 사전 정의되지 않았으며 경험을 통해 학습되므로, 불필요한 상호 뉴런 통신을 최소화하는 하드웨어 유연성의 한 형태를 유도한다.

실험 결과

연구 질문

• RQ1 뉴로모픽 시스템은 어떻게 피질 유연성을 모방하여 비지도 다중모달 학습을 달성할 수 있는가?
• RQ2 다른 모달리티의 정보를 사용할 때, 발산 메커니즘이 한 모달리티의 레이블 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 수렴 메커니즘은 최고의 단모달 성능을 초월하여 종합 분류 정확도를 향상시킬 수 있는가?
• RQ4 자기조직화 시냅스 절단은 통신 비용을 어떻게 줄이고 하드웨어 효율성을 향상시키는가?
• RQ5 하드웨어 유연성은 뉴로모픽 시스템의 에너지 효율성과 확장성에 어떤 영향을 미치는가?

주요 결과

• ReSOM은 문장/말하기 숫자 데이터셋에서 단모달 기준선 대비 +8.03%의 정확도 향상을 달성했다.
• DVS/EMG 수동 제스처 데이터셋에서는 다중모달 융합을 통해 +5.67%의 정확도 향상을 달성했다.
• 발산 기반 레이블링은 참값 레이블을 사용한 경우와 유사한 단모달 분류 정확도를 달성하여 효과적인 다중모달 추론을 입증했다.
• 절단을 통해 횡방향 시냅스 연결을 약 80% 감소시켜 통신 오버헤드를 크게 낮췄다.
• ReSOM의 자기조직화 다중맵 간 연결성은 하드웨어 유연성의 한 형태를 이끌었으며, 불필요한 상호 뉴런 통신을 최소화하여 에너지 효율성을 향상시켰다.
• 승법적 업데이트 방법은 추가 하이퍼파rameter가 필요 없이 일관된 전역 BMU 선택을 가능하게 하여 튜닝을 단순화시켰다.