[논문 리뷰] Learning from Hypervectors: A Survey on Hypervector Encoding

Sercan Aygün, Mehran Shoushtari Moghadam외 2명|arXiv (Cornell University)|2023. 08. 01.

Ferroelectric and Negative Capacitance Devices인용 수 14

한 줄 요약

하이퍼 벡터가 Hyperdimensional Computing에서 어떻게 생성되고 인코딩되는지에 대한 집중적인 고찰로, 데이터 매핑, 인코딩 방법, 정확도와 효율성에 영향을 주는 하드웨어 고려사항을 검토한다. Hyperdimensional Computing에서의 HV 생성 및 인코딩에 초점을 맞춘 서베이이다.

ABSTRACT

Hyperdimensional computing (HDC) is an emerging computing paradigm that imitates the brain's structure to offer a powerful and efficient processing and learning model. In HDC, the data are encoded with long vectors, called hypervectors, typically with a length of 1K to 10K. The literature provides several encoding techniques to generate orthogonal or correlated hypervectors, depending on the intended application. The existing surveys in the literature often focus on the overall aspects of HDC systems, including system inputs, primary computations, and final outputs. However, this study takes a more specific approach. It zeroes in on the HDC system input and the generation of hypervectors, directly influencing the hypervector encoding process. This survey brings together various methods for hypervector generation from different studies and explores the limitations, challenges, and potential benefits they entail. Through a comprehensive exploration of this survey, readers will acquire a profound understanding of various encoding types in HDC and gain insights into the intricate process of hypervector generation for diverse applications.

연구 동기 및 목표

• HVs가 다양한 데이터 유형(숫자, 2D, 시퀀스 등)에서 어떻게 생성되는지와 이것이 모델 성능에 미치는 영향을 명확히 밝힌다.
• 기존 HV 인코딩 기법들(record-based, N-gram, spars e/dense, LD-based)과 그 트레이드오프를 조사한다.
• HV 인코딩의 하드웨어 및 엣지에서의 학습 영향에 주목한다.
• 다양한 응용 분야에서 HV 생성의 도전과제와 향후 연구 기회를 식별한다.

제안 방법

• 이전 HDC 문헌에서의 HV 매핑 및 인코딩 기법을 검토하고 분류한다.
• 데이터 표현 간 HV의 직교성(orthogonality), 밀도(density), 희소성(sparsity) 고려사항을 비교한다.
• HV 생성에 대한 하드웨어 영향 및 최적화 전략(FPGA, CIM 등)을 논의한다.
• 다양한 인코딩 스킴이 학습 과제에서 정확도와 효율성에 미치는 영향을 요약한다.

Figure 1: A general overview of an HDC system targeting classification. (a) From applications to learning and classifying steps: ⓐ Encoding the incoming data. ⓑ Training using the whole bunch of input dataset, ⓒ Similarity check between class-based $\boldsymbol{\mathcal{HV}}$ s ( $C_{class}$ ) and q

실험 결과

연구 질문

• RQ1 다양한 데이터 유형(숫자, 이미지, 시퀀스)에 대해 어떤 HV 생성 전략이 존재하며 이것이 인코딩 품질에 어떤 영향을 미치는가?
• RQ2 직교성(orthogonality), 밀도(density), 희소성(sparsity), LD/distributions 등의 인코딩 선택이 HDC의 정확도와 하드웨어 효율성에 어떤 영향을 미치는가?
• RQ3 애플리케이션 전반에서 record-based와 N-gram 기반 HV 생성 방법 간의 주요 트레이드오프는 무엇인가?
• RQ4 대규모 HV 인코딩을 지원하는 현재의 하드웨어 고려사항과 플랫폼은 무엇이며, 특히 엣지 학습에 어떠한가?
• RQ5 신흥 응용 및 데이터 모달리티에서 HV 인코딩이 남긴 남은 열린 도전과제는 무엇인가?

주요 결과

• HV 생성 품질과 벡터 분포는 HDC의 정확도와 효율성에 결정적으로 영향을 미친다.
• 다수의 인코딩 스킴(record-based, N-gram, stochastic, LD-based)은 정확도, 하드웨어 비용, 확장성 간의 트레이드오프를 제공한다.
• 희소 HV 표현과 밀집 HV 표현은 하드웨어 효율성에 영향을 주며 데이터 유형(숫자 vs 기호)에 맞게 조정될 수 있다.
• 하드웨어 지향 최적화(FPGA, CIM, 칩内 학습)는 기본 아키텍처에 비해 면적과 처리량에서 실질적인 이득을 제공할 수 있다.
• DNA 처리 및 특정 데이터 모달리티에 대한 HV 인코딩에서 현저한 연구 공백이 있어 향후 연구 기회가 시사된다.

Figure 2: The scatter plots of various sequences illustrate the distribution of each sequence in a 2D sample space consisting of 1024 points. The irrational numbers utilized for the Weyl sequence were $\pi$ and the Silver Ratio ( $\sqrt{2}-1$ ). The R2 sequence was generated using the Plastic Consta