[論文レビュー] QubitHD: A Stochastic Acceleration Method for HD Computing-Based Machine Learning

Samuel Bosch, Alexander Sanchez de la Cerda+3 more|arXiv (Cornell University)|Nov 27, 2019

Ferroelectric and Negative Capacitance Devices被引用数 4

ひとこと要約

QubitHD は、ハイパーサイディメンショナル（HD）コンピューティングに基づく機械学習のための確率的バイナリゼーション手法を提案する。この手法は、分類精度を高く保ちながら、エネルギー効率と学習速度を顕著に向上させる。量子測定にインspiredして、ランダムなバイナリゼーションを用いることで学習の安定性を高め、収束時間を短縮し、FPGA上で最先端のHD手法と比較して65%高いエネルギー効率と95%速い学習速度を達成した。

ABSTRACT

Machine Learning algorithms based on Brain-inspired Hyperdimensional(HD) computing imitate cognition by exploiting statistical properties of high-dimensional vector spaces. It is a promising solution for achieving high energy efficiency in different machine learning tasks, such as classification, semi-supervised learning, and clustering. A weakness of existing HD computing-based ML algorithms is the fact that they have to be binarized to achieve very high energy efficiency. At the same time, binarized models reach lower classification accuracies. To solve the problem of the trade-off between energy efficiency and classification accuracy, we propose the QubitHD algorithm. It stochastically binarizes HD-based algorithms, while maintaining comparable classification accuracies to their non-binarized counterparts. The FPGA implementation of QubitHD provides a 65% improvement in terms of energy efficiency, and a 95% improvement in terms of training time, as compared to state-of-the-art HD-based ML algorithms. It also outperforms state-of-the-art low-cost classifiers (such as Binarized Neural Networks) in terms of speed and energy efficiency by an order of magnitude during training and inference.

研究の動機と目的

• バイナリゼーションに基づくハイパーサイディメンショナル（HD）コンピューティングベースの機械学習におけるエネルギー効率と分類精度のトレードオフを解消すること。
• 既存のバイナリゼーション技術が精度を低下させ、学習時間を延長するという限界を克服すること。
• 分類性能を損なわずに、HDベースのモデルにおける学習の安定性と収束速度を向上させること。
• エネルギー効率と推論速度の向上により、低消費電力のエッジデバイスへのHDコンピューティングの実用的導入を可能にすること。
• BNN や MLP などの非HD軽量分類器と比較して、エネルギー効率と速度において優れる点を実証すること。

提案手法

• 量子測定にインspiredした確率的バイナリゼーションを導入：浮動小数点のハイパーエンベロープを学習前に確率的にバイナリ値にマッピングする。
• 計算コストの高いコサイン類似度の代わりにハミング距離を類似度チェックに使用し、計算コストを低減する。
• 学習中にランダムなバイナリゼーションを適用することで、局所最適解への収束を防ぎ、最適解への移動を加速する。
• FPGA 上にアルゴリズムを実装し、低消費電力で高速な学習と推論を実現する。
• バイナリゼーション後でも高次元ベクトルの統計的性質を活用することで、高い分類精度を維持する。
• 確率的バイナリゼーション後のバイナリオンative計算により演算を削減することで、学習プロセスを最適化し、エネルギー効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 HDコンピューティングにおける確率的バイナリゼーションは、非バイナリゼーションモデルと同等の分類精度を維持しながら、エネルギー効率を向上させることができるか？
• RQ2 バイナリゼーション中にランダムネスを導入することで、決定的バイナリゼーション手法と比較して、学習の収束速度と安定性が向上するか？
• RQ3 QubitHD は、FPGA 上で最先端のHDベースのアルゴリズムと比較して、エネルギー効率と学習速度においてどの程度優れているか？
• RQ4 BNN や MLP などの非HD軽量分類器と比較して、QubitHD はエネルギー効率と推論速度において優れているか？
• RQ5 分類性能が低下しない範囲で、HDコンピューティングにおけるコサイン類似度をハミング距離に置き換えられるか？

主な発見

• QubitHD は、バイナリゼーション済みと非バイナリゼーション済みのHDモデル間の分類精度の差を平均で38.8%縮小した。
• 確率的バイナリゼーションにより、QuantHD よりも30–50%速い収束を達成した。これは、局所最適解への収束を防ぐためである。
• FPGA 上の QubitHD 実装は、最先端のHDアルゴリズムと比較して、65%高いエネルギー効率と95%短い学習時間を実現した。
• 非バイナリゼーション済みのHDモデルと比較して、エネルギー効率で56倍、学習時のスピードアップで8倍の向上を達成した。
• BNN と比較すると、CPU 上の学習時間を101倍短縮し、FPGA 上の推論では20倍速くなった。
• ISOLET では95.3%、UCIHAR では94.1%の分類精度を達成したが、エネルギー効率と速度において、BNN や MLP と比べて顕著に優れた性能を示した。