[논문 리뷰] HDTorch: Accelerating Hyperdimensional Computing with GP-GPUs for Design Space Exploration

William Simon, Una Pale외 2명|arXiv (Cornell University)|2022. 06. 09.

Ferroelectric and Negative Capacitance Devices참고 문헌 35인용 수 4

한 줄 요약

HDTorch는 하이퍼디멘셔널 컴퓨팅(HDC)을 위한 CUDA 가속화된 초차원 벡터 연산을 지원하는 오픈소스, 파이토치 기반 라이브러리로, 빠른 설계 공간 탐색을 가능하게 한다. 기존 HDC 학습에서는 최대 111배의 속도 향상과 추론에서는 87배의 성능 향상을 달성하였으며, 980시간 분량의 CHB-MIT 뇌전증 EEG 데이터셋을 처음으로 전체 데이터셋 수준에서 분석함으로써 서브셋 기반 학습의 핵심적인 한계를 드러냈다.

ABSTRACT

HyperDimensional Computing (HDC) as a machine learning paradigm is highly interesting for applications involving continuous, semi-supervised learning for long-term monitoring. However, its accuracy is not yet on par with other Machine Learning (ML) approaches. Frameworks enabling fast design space exploration to find practical algorithms are necessary to make HD computing competitive with other ML techniques. To this end, we introduce HDTorch, an open-source, PyTorch-based HDC library with CUDA extensions for hypervector operations. We demonstrate HDTorch's utility by analyzing four HDC benchmark datasets in terms of accuracy, runtime, and memory consumption, utilizing both classical and online HD training methodologies. We demonstrate average (training)/inference speedups of (111x/68x)/87x for classical/online HD, respectively. Moreover, we analyze the effects of varying hyperparameters on runtime and accuracy. Finally, we demonstrate how HDTorch enables exploration of HDC strategies applied to large, real-world datasets. We perform the first-ever HD training and inference analysis of the entirety of the CHB-MIT EEG epilepsy database. Results show that the typical approach of training on a subset of the data does not necessarily generalize to the entire dataset, an important factor when developing future HD models for medical wearable devices.

연구 동기 및 목표

• 초기 하이퍼디멘셔널 컴퓨팅(HDC) 프레임워크에서 효율적이고 유연하며 오픈소스인 프레임워크의 부족을 해결하여 설계 공간 탐색을 빠르게 수행하고자 한다.
• 초차원 벡터 연산인 비트 팩킹 및 합산과 같은 CUDA 커널 기반 GPU 가속화를 통해 HDC 학습 및 추론을 가속화하고자 한다.
• 특히 불균형한 CHB-MIT EEG 데이터베이스를 포함한 대규모 실세계 생물의학 데이터셋에서 HDC 성능을 평가하고자 한다. 이전 연구는 데이터 서브셋에 의존하였지만, 본 연구는 전체 데이터셋을 대상으로 한다.
• 초차원 벡터 폭 및 온라인 학습 배치 크기와 같은 하이퍼파rameter가 정확도와 런타임 간의 트레이드오프에 미치는 영향을 조사하고자 한다.
• 서브셋 기반 학습이 전체 데이터셋에 대해 일반화되지 않을 수 있음을 입증하고자 하며, 특히 극도로 불균형한 의료 응용 분야에서의 영향을 강조하고자 한다.

제안 방법

• HDTorch는 수평 및 수직 비트 어레이 합산, 비트(해)패킹과 같은 효율적인 초차원 벡터 연산을 위한 커스터마이제이션된 CUDA 커널을 파이토치에 확장하여 구현한다.
• 기존 학습과 온라인 HDC 학습을 모두 지원하며, 온라인 학습은 배치 기반 데이터를 이용해 점진적인 업데이트를 가능하게 하여 계산 오버헤드를 줄인다.
• 파이토치의 autograd 시스템과 통합되어 있어, 모델 최적화를 위한 엔드 투 엔드 미분 가능한 HDC 파이프라인을 제공한다.
• 초차원 벡터 연산은 병렬 GPU 실행을 통해 최적화되어, CPU 기반 구현 대비 최대 10배의 메모리 소비 감소를 달성한다.
• 사용자 정의 인코딩 및 유사도 전략을 지원하여 HDC 설계 공간의 다양한 탐색이 가능하도록 한다.
• HDTorch는 네 가지 벤치마크 데이터셋에서 평가되었으며, 전체 CHB-MIT EEG 데이터셋에 적용되어 데이터 조직 전략(예: Fact10 대비 1HSeg) 간 성능를 비교하였다.

실험 결과

연구 질문

• RQ1 GPU 가속화된 초차원 벡터 연산은 정확도를 손상시키지 않으면서도 HDC 학습 및 추론 시간을 크게 단축시킬 수 있는가?
• RQ2 초차원 벡터 폭 및 온라인 학습 배치 크기와 같은 하이퍼파라미터는 HDC에서 정확도와 런타임 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ3 데이터 서브셋에서 학습한 결과가 전체 대규모 불균형 CHB-MIT EEG 데이터셋에 대해 일반화되는가?
• RQ4 HDTorch는 CHB-MIT 뇌전증 데이터베이스의 첫 번째 전체 데이터셋 분석을 가능하게 하는가? 이로 인해 이전의 서브셋 기반 연구에서 볼 수 없었던 통찰을 드러내는가?
• RQ5 전체 CHB-MIT 데이터셋에 적용했을 때 HDC의 성능은 랜덤 포레스트와 같은 전통적 모델과 비교해 어떻게 되는가?

주요 결과

• HDTorch는 기존 HDC 학습에서 평균 111배의 속도 향상과 온라인 HDC 학습에서 68배의 성능 향상을 기록하였으며, 벤치마크 데이터셋 전반에서 추론 시 87배의 속도 향상을 달성하였다.
• CUDA 최적화된 커널을 사용함으로써 초차원 벡터 연산에 대한 메모리 소비가 CPU 기반 구현 대비 최대 10배 감소하였다.
• 온라인 HDC 학습에서의 배치 처리는 학습 시간을 크게 단축시켰으며, 최대 68배의 속도 향상을 기록했지만, 큰 배치 크기(예: 8192)에서는 평균 7%의 정확도 저하가 발생하였다.
• 전체 CHB-MIT 데이터셋에서의 성능는 서브셋 기반 학습과 현저히 다름: 기존 HDC는 전체 데이터셋에서 F1 스코어가 급격히 떨어지고, 거짓 양성률이 증가함을 보였다.
• 랜덤 포레스트와 온라인 HDC는 전체 데이터셋에서 기존 HDC를 능가했으며, 온라인 HDC는 기존 HDC에서 관찰된 정밀도 저하를 피함으로써 학습 전략이 대규모 불균형 데이터셋에서 매우 중요하다는 점을 시사하였다.
• 본 연구는 일반적으로 사용되는 서브셋 기반 학습 접근 방식이 전체 데이터셋에 대해 일반화되지 않을 수 있음을 드러내었으며, 의료 분야의 HDC 응용 분야에서 전체 데이터셋 평가의 필요성을 강조한다.