[論文レビュー] HDTorch: Accelerating Hyperdimensional Computing with GP-GPUs for Design Space Exploration

William Simon, Una Pale+2 more|arXiv (Cornell University)|Jun 9, 2022

Ferroelectric and Negative Capacitance Devices参考文献 35被引用数 4

ひとこと要約

HDTorchは、ハイパーサイクルコンピューティング（HDC）のためのCUDAアクセラレートド hypervector 操作を備えたオープンソースでPyTorchベースのライブラリであり、高速なデザインスペース探索を可能にする。古典的HDC学習では最大111倍の高速化、推論では87倍の高速化を達成し、980時間のCHB-MIT EEGてんかんデータセットの最初のフルデータセット分析を可能にした。その結果、サブセットベースの学習に起因する重要な限界が明らかになった。

ABSTRACT

HyperDimensional Computing (HDC) as a machine learning paradigm is highly interesting for applications involving continuous, semi-supervised learning for long-term monitoring. However, its accuracy is not yet on par with other Machine Learning (ML) approaches. Frameworks enabling fast design space exploration to find practical algorithms are necessary to make HD computing competitive with other ML techniques. To this end, we introduce HDTorch, an open-source, PyTorch-based HDC library with CUDA extensions for hypervector operations. We demonstrate HDTorch's utility by analyzing four HDC benchmark datasets in terms of accuracy, runtime, and memory consumption, utilizing both classical and online HD training methodologies. We demonstrate average (training)/inference speedups of (111x/68x)/87x for classical/online HD, respectively. Moreover, we analyze the effects of varying hyperparameters on runtime and accuracy. Finally, we demonstrate how HDTorch enables exploration of HDC strategies applied to large, real-world datasets. We perform the first-ever HD training and inference analysis of the entirety of the CHB-MIT EEG epilepsy database. Results show that the typical approach of training on a subset of the data does not necessarily generalize to the entire dataset, an important factor when developing future HD models for medical wearable devices.

研究の動機と目的

• ハイパーサイクルコンピューティング（HDC）のための効率的で柔軟かつオープンソースのフレームワークが不足している問題を解決し、迅速なデザインスペース探索を可能にすること。
• ビットパッキングや和集合などのhypervector操作のためのGPUアクセラレートドCUDAカーネルを用いて、HDCの学習と推論を高速化すること。
• 特に不均衡なCHB-MIT EEGデータベースを含む大規模で現実世界のバイオメディカルデータセットにおけるHDCのパフォーマンスを評価すること。過去の研究ではデータサブセットに依存していた。
• hypervector幅やオンライン学習バッチサイズといったハイパーパrameterが、精度と実行時間のトレードオフに与える影響を調査すること。
• サブセットベースの学習が、特に重度に不均衡な医療応用において、フルデータセットに一般化しない可能性があることを示すこと。

提案手法

• HDTorchは、水平および垂直ビット配列の和集合、およびビット（アン）パッキングを含む、効率的なhypervector操作のためのカスタムCUDAカーネルをPyTorchに拡張する。
• 古典的およびオンラインHDC学習をサポートし、バッチデータを用いたインクリメンタルな更新により計算オーバーヘッドを低減するオンライン学習を可能にする。
• PyTorchのautogradシステムと統合されており、モデル最適化のためのエンドツーエンド微分可能なHDCパイプラインを実現する。
• hypervector操作は並列GPU実行により最適化され、CPUベースの実装と比較してメモリ消費量を最大10倍まで削減する。
• カスタマイズ可能なエンコーディングおよび類似度戦略をサポートしており、HDCデザインスペースの柔軟な探索を可能にする。
• HDTorchは4つのベンチマークデータセットで評価され、フルCHB-MIT EEGデータセットへの応用が行われ、データ組織化戦略（Fact10対1HSeg）のパフォーマンスを比較した。

実験結果

リサーチクエスチョン

• RQ1 GPUアクセラレートドhypervector操作は、精度を損なわずにHDCの学習および推論時間を著しく短縮できるか？
• RQ2 hypervector幅やオンライン学習バッチサイズといったハイパーパrameterは、HDCにおける精度と実行時間のトレードオフにどのように影響するか？
• RQ3 データサブセットでの学習は、大規模で不均衡なフルCHB-MIT EEGデータセットにおける性能に一般化できるか？
• RQ4 HDTorchは、これまでのサブセットベースの研究では見えなかった洞察を明らかにするために、CHB-MITてんかんデータベースの最初のフルデータセット分析を可能にするか？
• RQ5 フルCHB-MITデータセットに適用した場合、HDCのパフォーマンスはランダムフォレストなどの従来のモデルと比べてどうか？

主な発見

• HDTorchは、古典的HDC学習で平均111倍、オンラインHDC学習で68倍の高速化を達成し、ベンチマークデータセット全体で推論で87倍の高速化を実現した。
• CUDA最適化されたカーネルの使用により、CPUベースの実装と比較してhypervector操作のメモリ消費量を最大10倍まで削減した。
• オンラインHDC学習におけるバッチ処理により、学習時間が著しく短縮された（最大68倍の高速化）。ただし、大きなバッチサイズ（例：8192）では平均7％の精度低下が生じた。
• フルCHB-MITデータセットでは、サブセットベースの学習とは著しく異なるパフォーマンスを示した。古典的HDCは、フルデータセットでF1スコアの著しい低下と偽陽性の増加を示した。
• ランダムフォレストとオンラインHDCは、フルデータセットで古典的HDCを上回った。特に、オンラインHDCは古典的HDCが見せる精度の低下を回避しており、大規模で不均衡なデータセットでは学習戦略の重要性が示された。
• 本研究では、一般的なサブセットベースの学習アプローチが、フルデータセットに一般化しない可能性があることが明らかになった。これは、医療分野のHDC応用において、フルデータセット評価の必要性を強調している。