[논문 리뷰] Hyperdimensional Computing vs. Neural Networks: Comparing Architecture and Learning Process

Dongning Ma, Xun Jiao|arXiv (Cornell University)|2022. 07. 24.

Ferroelectric and Negative Capacitance Devices인용 수 5

한 줄 요약

이 논문은 사전에 훈련된 두 층의 신경망에서 초차원 계산(Hyperdimensional Computing, HDC) 모델을 유도하는 새로운 방법을 제안한다. 이로 유도된 HDC 모델은 MNIST 및 CIFAR-10에서 기존 HDC 기준 모델보다 최대 21% 높은 정확도를 달성하며, 최신 학습 기반 HDC 모델보다도 5% 높은 성능을 보인다. 이 방법은 신경망의 가중치를 HDC 메모리 요소로 활용하여 HDC와 신경망 아키텍처를 연결함으로써 학습 성능을 향상시키면서도 에너지 효율성을 유지한다.

ABSTRACT

Hyperdimensional Computing (HDC) has obtained abundant attention as an emerging non von Neumann computing paradigm. Inspired by the way human brain functions, HDC leverages high dimensional patterns to perform learning tasks. Compared to neural networks, HDC has shown advantages such as energy efficiency and smaller model size, but sub-par learning capabilities in sophisticated applications. Recently, researchers have observed when combined with neural network components, HDC can achieve better performance than conventional HDC models. This motivates us to explore the deeper insights behind theoretical foundations of HDC, particularly the connection and differences with neural networks. In this paper, we make a comparative study between HDC and neural network to provide a different angle where HDC can be derived from an extremely compact neural network trained upfront. Experimental results show such neural network-derived HDC model can achieve up to 21% and 5% accuracy increase from conventional and learning-based HDC models respectively. This paper aims to provide more insights and shed lights on future directions for researches on this popular emerging learning scheme.

연구 동기 및 목표

• 초차원 계산(Hyperdimensional Computing, HDC)과 신경망 간의 이론적이고 실용적인 연결 고리를 탐구한다.
• CIFAR-10에서의 이미지 분류와 같은 복잡한 작업에서 기존 HDC 모델의 제한된 학습 능력을 해결한다.
• 사전에 훈련된 신경망에서 HDC 모델을 유도하여 성능을 향상시키면서도 에너지 효율성과 작은 모델 크기를 유지할 수 있는지 탐색한다.
• HDC를 압축된 신경망으로 재해석함으로써 최적화와 확장성 향상을 위한 새로운 시각을 제공한다.

제안 방법

• MNIST 및 CIFAR-10 데이터셋에서 입력층과 분류기층을 갖춘 두 층의 완전 연결 신경망을 훈련한다.
• 입력층 가중치(10000×768)를 HDC의 아이템 메모리로 추출하며, 각 열은 하나의 초벡터(HV)를 나타낸다.
• 분류기층 가중치(10×10000)를 연관 메모리로 추출하며, 각 행은 하나의 클래스 HV를 나타낸다.
• 추출된 가중치를 메모리 요소로 사용하여 훈련된 신경망을 HDC 모델로 변환하며, 동일한 추론 계산을 유지한다.
• 추론 과정에서 배치 학습 없이 초벡터 연산(덧셈, 곱셈, 순열)을 사용한다.
• 표준 경사하강법을 사용해 신경망을 훈련한 후, 가중치를 동 冻결하고 HDC 메모리 구조로 변환한다.

Figure 1: Architectural Comparison between HDC and neural network

실험 결과

연구 질문

• RQ1 HDC와 신경망 간의 아키텍처 및 학습 과정 유사성이 HDC 성능 향상에 어떻게 기여하는가?
• RQ2 사전에 훈련된 신경망을 사용해 기존 HDC 기준 모델을 능가하는 고성능 HDC 모델을 생성할 수 있는가?
• RQ3 작은 신경망에서 HDC를 유도함으로써 CIFAR-10과 같은 복잡한 데이터셋에서 정확도가 얼마나 향상되는가?
• RQ4 신경망을 HDC 모델로 변환할 때 훈련 비용과 추론 효율성 사이의 상충 관계는 어떠한가?

주요 결과

• 사전에 훈련된 두 층의 신경망에서 유도된 HDC 모델은 MNIST에서 96.71%의 정확도를 기록하여 HDC-Base 기준 모델(90.93%)보다 5.78% 높고, 최신 기술(SOTA) LeHDC 모델(94.74%)보다도 2.03% 높았다.
• 더 복잡한 CIFAR-10 데이터셋에서는 유도된 HDC 모델이 51.08%의 정확도를 달성하여 HDC-Base 기준 모델(30.28%)보다 20.8% 높고, LeHDC 모델(46.10%)보다 5.0% 높았다.
• 유도된 HDC 모델은 원래의 HDC-Base와 동일한 추론 계산 비용을 유지하며, 추가 오버헤드는 모두 초기 신경망 훈련 단계에 집중되어 있다.
• 기본 신경망의 훈련은 효율적이었으며, 초기화부터 시작해도 약 4~7분 내에 수렴하는 데에 그쳤다.
• 결과는 HDC의 학습 능력이 근본적으로 기반 신경망의 아키텍처에 의해 제한됨을 확인하며, 얕은 모델이 복잡한 작업에서 어려움을 겪는 이유를 설명한다.
• 이 연구는 HDC를 히알로그래픽 표현을 갖춘 압축된 신경망으로 볼 수 있음을 보여주며, 신경망 기반 훈련을 통해 HDC를 최적화할 수 있는 새로운 길을 제시한다.

Figure 2: Derive an HDC model from a trained neural network.