[논문 리뷰] A Brain-Inspired Low-Dimensional Computing Classifier for Inference on Tiny Devices

Shijin Duan, Xiaolin Xu외 1명|arXiv (Cornell University)|2022. 03. 09.

Ferroelectric and Negative Capacitance Devices인용 수 8

한 줄 요약

이 논문은 전통적인 초차원 계산(HDC)을 원칙적이고 미분 가능한 학습 방법으로 대체하는 뇌에 영감을 받은 저차원 계산(LDC) 분류기를 제안한다. 이 방법은 등가 신경망을 사용하여 성능을 향상시키며, 모델 크기, 지연 시간, 에너지 소비를 수십 배 이상 줄였다. MNIST에서 6.48 KB 모델 크기, 3.99 μs 지연 시간, 64 nJ 에너지 소비를 기록했으며, 기존 SOTA HDC 모델을 뛰어넘는 높은 추론 정확도를 확보했다.

ABSTRACT

By mimicking brain-like cognition and exploiting parallelism, hyperdimensional computing (HDC) classifiers have been emerging as a lightweight framework to achieve efficient on-device inference. Nonetheless, they have two fundamental drawbacks, heuristic training process and ultra-high dimension, which result in sub-optimal inference accuracy and large model sizes beyond the capability of tiny devices with stringent resource constraints. In this paper, we address these fundamental drawbacks and propose a low-dimensional computing (LDC) alternative. Specifically, by mapping our LDC classifier into an equivalent neural network, we optimize our model using a principled training approach. Most importantly, we can improve the inference accuracy while successfully reducing the ultra-high dimension of existing HDC models by orders of magnitude (e.g., 8000 vs. 4/64). We run experiments to evaluate our LDC classifier by considering different datasets for inference on tiny devices, and also implement different models on an FPGA platform for acceleration. The results highlight that our LDC classifier offers an overwhelming advantage over the existing brain-inspired HDC models and is particularly suitable for inference on tiny devices.

연구 동기 및 목표

• 초소형 장치 추론에서 초차원 계산(HDC)의 근본적 한계인 초고차원성과 히우리스틱 학습 방식을 해결한다.
• 자원 제약이 있는 엣지 장치를 대상으로 기존 HDC 모델의 부적절한 추론 정확도와 과도한 모델 크기를 해결한다.
• 뇌에 영감을 받은 인지 기능을 유지하면서도 효율적인 하드웨어 구현이 가능한 저차원 계산(LDC) 프레임워크를 개발한다.
• 신경망 매핑을 통해 LDC 모델의 엔드 투 엔드, 미분 가능한 학습을 가능하게 하여 히우리스틱 초벡터 평균화 방식을 대체한다.
• 최신 HDC 모델 대비 정확도, 모델 크기, 지연 시간, 에너지 효율성에서 뛰어난 성능을 달성한다.

제안 방법

• LDC 분류기의 추론 과정을 비이진형 다음에 이진형 신경망(BNN)으로 구성된 등가 신경망 아키텍처로 매핑한다.
• 손실 함수에 기반한 미분 가능한 학습 과정을 통해 모델 가중치를 최적화하여 히우리스틱 평균화가 아닌 원칙적인 학습을 가능하게 한다.
• 학습된 네트워크에서 최적화된 저차원 벡터(예: 4/64비트)를 추출하여 특징과 클래스를 표현하며, 고차원 초벡터(예: 8000비트 이상)를 대체한다.
• 정규화된 해밍 거리를 분류를 위한 유사도 측정 지표로 사용하며, 이는 이진극성 벡터에서 코사인 유사도와 동일하다.
• 엄격한 자원 제약 하에서 FPGA에 LDC 모델을 구현하여 하드웨어 가속을 구현한다.
• 여러 개의 LDC 분류기에서 다수결 투표를 적용하여 정확도를 향상시키되, 모델 크기 증가를 최소화한다.

실험 결과

연구 질문

• RQ1 뇌에 영감을 받은 인지 기능을 유지하면서도 추론 정확도를 향상시키는 저차원, 미분 가능한 HDC 대체 기법을 설계할 수 있는가?
• RQ2 히우리스틱 초벡터 평균화 방식에 비해 원칙적이고 손실 기반의 저차원 벡터 학습 방식은 어떤가?
• RQ3 차원 축소와 최적화된 학습을 통해 HDC 유사 모델의 모델 크기, 추론 지연 시간, 에너지 소비를 얼마나 줄일 수 있는가?
• RQ4 제한된 메모리와 계산 자원을 가진 초소형 장치에서 작동하면서도 SOTA HDC 모델을 초월하는 높은 정확도를 달성할 수 있는가?
• RQ5 실제 하드웨어 제약 조건 하에서 다양한 데이터셋(MNIST, 심전도 모니터링 등)에서 LDC 프레임워크의 성능은 어떠한가?

주요 결과

• LDC 분류기는 MNIST에서 92.72%의 정확도를 기록하여 SOTA HDC 모델(87.38%)을 뛰어넘었다.
• LDC 모델은 MNIST에서 단지 6.48 KB의 매우 작고 컴act한 크기를 가지며, SOTA HDC 모델 대비 100배 이상 모델 크기를 줄였다.
• MNIST에서 추론 지연 시간은 3.99 마이크로초로 줄었고, 에너지 소비는 64 나노줄로 떨어져 SOTA HDC 모델 대비 모두 100배 이상 감소했다.
• 심전도 모니터링 데이터셋에서는 LDC 분류기가 90.50%의 정확도를 기록했으며, 모델 크기 0.32 KB, 지연 시간 0.14 μs, 에너지 소비 0.945 nJ를 기록했다.
• LDC 프레임워크는 FPGA에 구현되어 최소한의 자원 소비로 하드웨어 가속을 가능하게 하여 초소형 IoT 장치에 매우 적합함을 입증했다.
• 미분 가능한 학습 과정을 통해 히우리스틱 방법보다 더 나은 특징 및 클래스 벡터 표현을 확보하여 정확도와 강인성을 향상시켰다.