[논문 리뷰] Hypervector Design for Efficient Hyperdimensional Computing on Edge Devices

Toygun Başaklar, Yiğit Tuncel외 3명|arXiv (Cornell University)|2021. 03. 08.

Ferroelectric and Negative Capacitance Devices참고 문헌 30인용 수 11

한 줄 요약

이 논문은 초고차원 계산(HDC)을 위한 다목적 최적화 프레임워크를 제안하며, 정확도와 내성 능력을 유지하거나 향상시키면서도 초과벡터 차원을 32배 이상 감소시킨다. 초과벡터 설계를 최적화 문제로 공식화하고 비균일 양자화를 적용하여, 엣지 장치에서 모델 크기, 추론 시간, 에너지 소비를 10배 이상 감소시켰으며, 네 가지 건강 모니터링 응용 분야에서 검증된 결과를 제공한다.

ABSTRACT

Hyperdimensional computing (HDC) has emerged as a new light-weight learning algorithm with smaller computation and energy requirements compared to conventional techniques. In HDC, data points are represented by high-dimensional vectors (hypervectors), which are mapped to high-dimensional space (hyperspace). Typically, a large hypervector dimension ($\\geq1000$) is required to achieve accuracies comparable to conventional alternatives. However, unnecessarily large hypervectors increase hardware and energy costs, which can undermine their benefits. This paper presents a technique to minimize the hypervector dimension while maintaining the accuracy and improving the robustness of the classifier. To this end, we formulate the hypervector design as a multi-objective optimization problem for the first time in the literature. The proposed approach decreases the hypervector dimension by more than $32\ imes$ while maintaining or increasing the accuracy achieved by conventional HDC. Experiments on a commercial hardware platform show that the proposed approach achieves more than one order of magnitude reduction in model size, inference time, and energy consumption. We also demonstrate the trade-off between accuracy and robustness to noise and provide Pareto front solutions as a design parameter in our hypervector design.

연구 동기 및 목표

• 일반 HDC가 적절한 정확도를 확보하기 위해 큰 초과벡터 차원(≥1000)을 사용함에 따라 발생하는 높은 계산 및 에너지 비용을 해결한다.
• 엣지 기기 응용 분야에서 분류 정확도나 노이즈에 대한 내성 능력을 훼손하지 않으면서도 초과벡터 차원을 감소시킨다.
• 정확도, 내성 능력, 자원 효율성을 균형 있게 고려하기 위해 초과벡터 설계를 다목적 최적화 문제로 공식화한다.
• 에너지 및 계산 자원 제약이 엄격한 저전력 웨어러블 IoT 기기에서 HDC의 실용적 구현을 가능하게 한다.
• 정확도와 내성 능력 간의 상호 교환 관계를 안내할 수 있는 정확도 기반의 파레토 최적 해를 제공한다.

제안 방법

• 초과벡터 설계를 차원 최소화와 동시에 정확도 및 내성 능력 최대화를 목표로 하는 다목적 최적화 문제로 공식화한다.
• 무작위로 생성된 초과벡터의 분포를 개선하기 위해 비균일 양자화 전략을 도입하여 정규성과 노이즈에 대한 내성 능력을 향상시킨다.
• 초과벡터 분포의 기하학적 모델링을 활용해 최적화 과정을 이끌고 클래스 인코더 간의 분리도를 향상시킨다.
• 분류에 코사인 유사도 또는 해밍 거리를 사용하여 이진 연산의 단순성을 활용해 효율적인 하드웨어 매핑을 구현한다.
• 가중 정확도(wAcc)와 평균 유사도(1-avgSim) 간의 상호 교환 관계를 탐색하기 위해 파레토 프론트 해를 생성한다.
• 저주파수 A7 코어에서 C 코드로 구현하고, 상용 엣지 플랫폼(Odroid XU3)을 활용해 최적화된 HDC 모델을 평가한다.

실험 결과

연구 질문

• RQ1 HDC에서 초과벡터 차원을 정확도가 저하되지 않도록 크게 감소시킬 수 있는가?
• RQ2 제안된 최적화 방법은 기존의 무작위 매핑 대비 노이즈에 대한 내성 능력을 얼마나 향상시키는가?
• RQ3 저차원 HDC에서 정확도와 내성 능력 간의 상호 교환 관계는 어떠한가? 이를 체계적으로 탐색할 수 있는가?
• RQ4 최적화된 초과벡터 설계를 통해 HDC의 모델 크기, 추론 시간, 에너지 소비는 어느 정도 감소시킬 수 있는가?
• RQ5 제안된 방법이 기준 HDC 성능을 유지하거나 초월하면서도 효율성 지표를 10배 이상 향상시킬 수 있는가?

주요 결과

• PD Challenge 데이터셋에서 제안된 방법은 초과벡터 차원을 2048에서 32로 감소시켜(64배 감소) 모델 크기를 7.5 MB에서 120.9 kB로 줄였다(62배 감소).
• HAR 데이터셋에서 추론 시간은 128 ms에서 0.39 ms로 328배 감소했으며, 에너지 소비는 동일 데이터셋에서 최대 1.51배 감소했다.
• 모든 네 가지 평가된 건강 응용 분야에서 모델 크기, 추론 시간, 에너지 소비가 모두 한 수준 이상 감소했다.
• 기준 HDC 대비 노이즈에 대한 내성 능력이 1-avgSim 지표로 측정해 2배 이상 향상되었다.
• 파레토 프론트 분석을 통해 정확도(wAcc)와 내성 능력(1-avgSim) 간에 명확한 상호 교환 관계가 드러나, 특정 엣지 배포 시나리오에 맞는 설계 결정을 위한 정보를 제공한다.
• Odroid XU3에서의 하드웨어 평가 결과, 최적화된 HDC 모델은 기준 정확도를 유지하거나 초월하면서 자원 사용을 극적으로 줄였다. 이는 200 MHz 저전력 코어에서도 성립한다.