[論文レビュー] Understanding Hyperdimensional Computing for Parallel Single-Pass Learning

Changyuan Yu, Yichi Zhang+2 more|arXiv (Cornell University)|Feb 10, 2022

Ferroelectric and Negative Capacitance Devices被引用数 14

ひとこと要約

本稿は、高次元バイナリーベクトルを用いて表現可能な類似度行列の分析を通じて、ハイパーサイズコンピューティング（HDC）の表現力の限界を理解する理論的枠組みを提示する。ランダムフォーリエ特徴（RFF）を用いた初期化法の改善と、HDCを凌駉するより広い類似度行列のクラスを表現可能な新しいベクトル記号的アーキテクチャ（VSA）のクラス、有限群VSAを提案する。MNISTでは最大7.6%の精度向上を達成しながら、ハードウェア効率を維持する。

ABSTRACT

Hyperdimensional computing (HDC) is an emerging learning paradigm that computes with high dimensional binary vectors. It is attractive because of its energy efficiency and low latency, especially on emerging hardware -- but HDC suffers from low model accuracy, with little theoretical understanding of what limits its performance. We propose a new theoretical analysis of the limits of HDC via a consideration of what similarity matrices can be "expressed" by binary vectors, and we show how the limits of HDC can be approached using random Fourier features (RFF). We extend our analysis to the more general class of vector symbolic architectures (VSA), which compute with high-dimensional vectors (hypervectors) that are not necessarily binary. We propose a new class of VSAs, finite group VSAs, which surpass the limits of HDC. Using representation theory, we characterize which similarity matrices can be "expressed" by finite group VSA hypervectors, and we show how these VSAs can be constructed. Experimental results show that our RFF method and group VSA can both outperform the state-of-the-art HDC model by up to 7.6\% while maintaining hardware efficiency.

研究の動機と目的

• バイナリーハイパーベクトルを用いたハイパーサイズコンピューティング（HDC）における理論的限界を特定すること。
• 現行のHDCシステムがハードウェア効率に優れるにもかかわらず、低精度にとどまる理由を分析すること。
• 表現可能な類似度行列の集合に基づく、表現力の新しい理論的測度を提案すること。
• 表現可能な類似度行列の範囲を拡大する、改良された初期化技術と新しいVSAクラスの開発。
• これらの改善が、標準ベンチマークにおいてハードウェア効率を維持しながら、顕著なパフォーマンス向上を達成することを実証すること。

提案手法

• 特定のVSAが表現可能な類似度行列の集合に基づく、表現力の新しい理論的概念を導入すること。
• 表現論を用いて、有限群VSAが表現可能な類似度行列を特徴づけること。
• バイナリーハイパーサイズコンピューティングのベクトル分布と類似度行列表現可能性を向上させるため、RFFに基づく初期化法を提案すること。
• 位数2^nの巡回群からの要素を用いた有限群VSAを設計し、バイナリーハイパーサイズコンピューティングよりも洗練されたベクトル演算を可能にすること。
• グループVSA用に事前に類似度行列を構築することで、オンライン計算の遅延を低減すること。
• 回路深さ複雑度（CDC）を分析し、ハードウェア効率を評価し、既存のHDCおよびニューラルネットワーク実装と比較すること。

実験結果

リサーチクエスチョン

• RQ1 HDCにおけるバイナリーハイパーベクトルが表現可能な類似度行列のクラスは何か？ そして、それらの表現力に制限を及える要因は何か？
• RQ2 HDCにおける現在の初期化手法が、表現可能な類似度行列の集合をどのように制限し、学習性能を損なうのか？
• RQ3 ランダムフォーリエ特徴（RFF）は、ベクトル次元や複雑性を増加させずに、バイナリーハイパーサイズコンピューティングの表現力を向上させることができるか？
• RQ4 有限群VSAが表現可能な類似度行列のクラスは何か？ そして、それらはHDCの表現力においてどのように上回るのか？
• RQ5 RFF初期化HDCおよび有限群VSAは、MNISTのようなベンチマークタスクにおいて、どの程度の精度向上を達成するか？ また、ハードウェア効率を維持しているか？

主な発見

• RFFに基づく初期化は、状態アートのバイナリーハイパーサイズコンピューティングと比較して、MNISTにおけるHDCの精度を最大6.4%向上させるが、ベクトル次元や複雑性を増加させない。
• 特にG(2^4)-VSAである有限群VSAは、MNISTで92.56%のテスト精度を達成し、1k次元のバイナリーランダムフォーリエ特徴HDCを27ポイントも上回る。
• 提案されたRFF手法とグループVSAアプローチの両方が、MNISTにおいて状態アートのHDCモデルを最大7.6%向上させる。
• 回路深さ分析により、HDCおよびグループVSAは1ビットRFFパーセプトロンよりも顕著に低遅延であることが示され、HDCは295、G(2^3)-VSAは405のCDCを示しており、強力なハードウェア効率を示している。
• 理論的枠組みにより、HDCの表現力は、高次元ベクトルを用いても、特定のベイズ最適類似度行列を表現できないという根本的な制限を有することが明らかになった。
• グループVSAは、バイナリーハイパーサイズコンピューティングおよびRFF-HDCをはるかに超える表現可能な類似度行列の集合を拡張し、より良い一般化性能と高い精度を実現しながら、低遅延計算を維持できる。