[論文レビュー] Torchhd: An Open Source Python Library to Support Research on Hyperdimensional Computing and Vector Symbolic Architectures

Mike Heddes, Igor Nunes+6 more|arXiv (Cornell University)|May 18, 2022

Ferroelectric and Negative Capacitance Devices被引用数 15

ひとこと要約

Torchhd は、PyTorch をベースに構築されたオープンソースの Python ライブラリであり、超次元コンピューティング（HD）およびベクトル記号的アーキテクチャ（VSA）分野の研究を加速するもので、6 つの主要な HD/VSA モデルの高性能で GPU アクセelerated 実装を提供する。既存の公開コードベースと比較して最大 100 倍の高速実行を実現するとともに、自動微分、モジュラー設計、ベンチマークデータセットをサポートしており、初心者および熟練の研究者にとっての参入障壁を著しく低減する。

ABSTRACT

Hyperdimensional computing (HD), also known as vector symbolic architectures (VSA), is a framework for computing with distributed representations by exploiting properties of random high-dimensional vector spaces. The commitment of the scientific community to aggregate and disseminate research in this particularly multidisciplinary area has been fundamental for its advancement. Joining these efforts, we present Torchhd, a high-performance open source Python library for HD/VSA. Torchhd seeks to make HD/VSA more accessible and serves as an efficient foundation for further research and application development. The easy-to-use library builds on top of PyTorch and features state-of-the-art HD/VSA functionality, clear documentation, and implementation examples from well-known publications. Comparing publicly available code with their corresponding Torchhd implementation shows that experiments can run up to 100x faster. Torchhd is available at: https://github.com/hyperdimensional-computing/torchhd.

研究の動機と目的

• 超次元コンピューティング（HD）およびベクトル記号的アーキテクチャ（VSA）の分野における統合的で、高性能かつアクセス可能なオープンソースのソフトウェアスタックの不足を解消すること。
• 初心者研究者向けに、明確なドキュメンテーションと例題を備えた直感的で Python スタイルのインターフェースを提供することで、HD/VSA 分野への参入障壁を低減すること。
• コアの HD/VSA モデルの最新で最高性能の実装を提供することで、研究および応用開発を加速すること。
• モジュラーで拡張可能な抽象化を通じて、新規 HD/VSA アルゴリズムの概念的探求とパフォーマンスに敏感な評価の両方を効果的に行えるようにすること。

提案手法

• Torchhd は、テンソル計算、自動微分、ハードウェアアクセceleration 機能を活用するため、PyTorch を基盤に構築されている。
• 6 つの主要な HD/VSA モデルを実装している：バイナリ スパッターコード（BSC）、マルティプライ・アド・パーミュテーション（MAP）、ホログラフィックリダンドンス表現（HRR）、フォーリエ HRR（FHRR）、スパースブロックコード（SBC）、ベクトル導出変換バインディング（VTB）。
• ユーザーの研究ニーズに応じてコンponent を自由に組み合わせられる、モジュラーかつ合成可能な API を提供している。
• 自動微分をサポートしており、ハイブリッド神経記号的モデルのエンド・ツー・エンド学習を可能にしている。
• HD/VSA 研究で一般的に使用される 129 個のベンチマークデータセットへのインターフェースを備えており、再現性のある評価を可能にしている。
• パフォーマンスを最適化したテンソル演算を通じて、パフォーマンスを確保しつつ、Python スタイルのイディオムと開発者体験を重視した設計がなされている。

実験結果

リサーチクエスチョン

• RQ1 高性能でアクセス可能かつモジュラーなオープンソースライブラリは、超次元コンピューティングおよびベクトル記号的アーキテクチャ分野の研究をどのように加速できるか？
• RQ2 Torchhd は、既存の公開実装と比較して、HD/VSA 実験の実行速度をどの程度向上できるか？
• RQ3 Torchhd は、統合的かつ拡張可能な API を通じて、応用指向の研究と HD/VSA 原理の理論的探求の両方を効果的に支援できるか？
• RQ4 Torchhd は、特に PyTorch と統合することで、ハイブリッド神経記号的モデリングをどのように可能にするか？
• RQ5 標準化され、ドキュメントが整備され、パフォーマンスに優れたライブラリが、多様な分野の研究コミュニティにおける HD/VSA の採用と発展にどのような影響を与えるか？

主な発見

• Torchhd を用いた実験では、同じ HD/VSA アルゴリズムの公開実装と比較して最大 100 倍の高速化が達成された。
• ライブラリは PyTorch の自動微分システムと効果的に統合されており、ハイブリッド神経記号的モデルのエンド・ツー・エンド微分可能学習が可能になった。
• Torchhd は HD/VSA 研究で一般的に使用される 129 個のベンチマークデータセットをサポートしており、標準化された評価と再現性の確保が可能になった。
• モジュラーで Python スタイルの設計により、パフォーマンスや表現力に犠牲を払わず、研究者がコンponent を簡単に採用・拡張できるようになった。
• PyTorch を基盤に構築されたことで、シームレスなハードウェアアクセceleration と既存のディープラーニングワークフローへの統合が実現した。
• 明確なドキュメンテーションと例題実装のおかげで、HD/VSA 分野に新たに参入するユーザーの学習曲線が著しく低下した。