[논문 리뷰] Torchhd: An Open Source Python Library to Support Research on Hyperdimensional Computing and Vector Symbolic Architectures

Mike Heddes, Igor Nunes외 6명|arXiv (Cornell University)|2022. 05. 18.

Ferroelectric and Negative Capacitance Devices인용 수 15

한 줄 요약

Torchhd는 PyTorch 기반으로 구축된 오픈소스 파이썬 라이브러리로, 초차원 계산(HD) 및 벡터 심볼릭 아키텍처(VSA) 분야의 연구를 가속화합니다. 이 라이브러리는 여섯 가지 주요 HD/VSA 모델에 대해 고성능 GPU 가속 구현을 제공하며, 기존 공개 코드베이스 대비 최대 100배 빠른 실행 속도를 제공합니다. 자동 미분, 모듈러 설계, 벤치마크 데이터셋을 지원하여 초보자 및 숙련된 연구자 모두가 연구에 쉽게 접근할 수 있도록 합니다.

ABSTRACT

Hyperdimensional computing (HD), also known as vector symbolic architectures (VSA), is a framework for computing with distributed representations by exploiting properties of random high-dimensional vector spaces. The commitment of the scientific community to aggregate and disseminate research in this particularly multidisciplinary area has been fundamental for its advancement. Joining these efforts, we present Torchhd, a high-performance open source Python library for HD/VSA. Torchhd seeks to make HD/VSA more accessible and serves as an efficient foundation for further research and application development. The easy-to-use library builds on top of PyTorch and features state-of-the-art HD/VSA functionality, clear documentation, and implementation examples from well-known publications. Comparing publicly available code with their corresponding Torchhd implementation shows that experiments can run up to 100x faster. Torchhd is available at: https://github.com/hyperdimensional-computing/torchhd.

연구 동기 및 목표

• 초차원 계산(HD) 및 벡터 심볼릭 아키텍처(VSA)를 위한 통합적이고 고성능이며 접근 가능한 오픈소스 소프트웨어 스택의 부족을 해결하기 위해.
• 명확한 문서화와 예제를 제공하는 직관적이고 파이썬 스러운 인터페이스를 통해 HD/VSA 분야 신입 연구자들이 연구에 쉽게 접근할 수 있도록 하기 위해.
• 핵심 HD/VSA 모델의 최신 기술 구현을 GPU 가속 기능과 함께 제공함으로써 연구 및 애플리케이션 개발을 가속화하기 위해.
• 모듈러하고 확장 가능한 추상화를 통해 신규 HD/VSA 알고리즘의 개념적 탐색과 성능 중심 평가를 동시에 지원하기 위해.

제안 방법

• Torchhd는 텐서 계산, 자동 미분, 하드웨어 가속 기능을 활용하기 위해 PyTorch 기반으로 구축되었습니다.
• 이 라이브러리는 이진 스플래터 코드(BSC), 승수-덧셈-퍼머터(이하 MAP), 허모닉 레이저 표현(HRR), 푸리에 HRR(FHRR), 스퍼스 블록 코드(SBC), 벡터 유도 변환 바인딩(VTB) 등 여섯 가지 주요 HD/VSA 모델을 구현합니다.
• 사용자의 연구 요구에 맞게 구성 요소를 자유롭게 조합할 수 있는 모듈러하고 조합 가능한 API를 제공합니다.
• 자동 미분을 지원하여 하이브리드 신경-기호 모델의 엔드 투 엔드 학습이 가능합니다.
• Torchhd는 HD/VSA 연구에서 흔히 사용되는 129개의 벤치마크 데이터셋에 대한 인터페이스를 포함하여 재현 가능성을 높입니다.
• 고성능을 위해 최적화된 텐서 연산을 활용하면서도, 파이썬 스러운 관용어와 개발자 경험을 중시한 설계를 구현합니다.

실험 결과

연구 질문

• RQ1 고성능, 접근 용이성, 모듈러리티를 갖춘 오픈소스 라이브러리가 초차원 계산 및 벡터 심볼릭 아키텍처 분야의 연구를 어떻게 가속화할 수 있는가?
• RQ2 기존 공개 구현 대비 Torchhd는 HD/VSA 실험의 실행 속도를 얼마나 향상시킬 수 있는가?
• RQ3 통합적이고 확장 가능한 API를 통해 Torchhd가 애플리케이션 중심 연구와 이론적 탐구 양쪽 모두를 효과적으로 지원할 수 있는가?
• RQ4 Torchhd는 특히 PyTorch와의 통합을 통해 하이브리드 신경-기호 모델링을 어떻게 지원하는가?
• RQ5 표준화되고 문서화가 잘 되어 있으며 고성능인 라이브러리가 다학제 연구 공동체 내에서 HD/VSA의 도입과 발전에 어떤 영향을 미치는가?

주요 결과

• Torchhd를 사용한 실험에서 동일한 HD/VSA 알고리즘의 공개 구현 대비 최대 100배의 속도 향상을 기록했습니다.
• 라이브러리는 PyTorch의 자동 미분 시스템과 성공적으로 통합되어 하이브리드 신경-기호 모델의 엔드 투 엔드 미분 가능 학습을 가능하게 했습니다.
• Torchhd는 HD/VSA 연구에서 흔히 사용되는 129개의 벤치마크 데이터셋을 지원하여 표준화된 평가와 재현 가능성을 높였습니다.
• 모듈러하고 파이썬 스러운 설계 덕분에 연구자들이 성능이나 표현력을 희생시키지 않고도 구성 요소를 쉽게 채택하고 확장할 수 있었습니다.
• PyTorch 기반 설계 덕분에 Torchhd는 하드웨어 가속과 기존 딥러닝 워크플로우와의 원활한 통합을 지원합니다.
• 명확한 문서화와 예제 구현 덕분에 HD/VSA 분야에 진입하는 신규 사용자의 학습 곡선이 크게 감소했습니다.