[論文レビュー] A Brain-Inspired Low-Dimensional Computing Classifier for Inference on Tiny Devices

Shijin Duan, Xiaolin Xu+1 more|arXiv (Cornell University)|Mar 9, 2022

Ferroelectric and Negative Capacitance Devices被引用数 8

ひとこと要約

本論文は、従来のハイパーサイズコンピューティング（HDC）に代わる、原理的で微分可能な学習アプローチを用いた脳にインspiredされた低次元計算（LDC）分類器を提案する。このアプローチは、同等のニューラルネットワークを用いて、モデルサイズ、遅延、エネルギー消費量を100倍以上削減しながら、顕著に高い推論精度を達成する。MNISTでは6.48 KBのモデルサイズ、3.99 μsの遅延、64 nJのエネルギー消費量を実現し、SOTAのHDCモデルを上回る性能を示した。

ABSTRACT

By mimicking brain-like cognition and exploiting parallelism, hyperdimensional computing (HDC) classifiers have been emerging as a lightweight framework to achieve efficient on-device inference. Nonetheless, they have two fundamental drawbacks, heuristic training process and ultra-high dimension, which result in sub-optimal inference accuracy and large model sizes beyond the capability of tiny devices with stringent resource constraints. In this paper, we address these fundamental drawbacks and propose a low-dimensional computing (LDC) alternative. Specifically, by mapping our LDC classifier into an equivalent neural network, we optimize our model using a principled training approach. Most importantly, we can improve the inference accuracy while successfully reducing the ultra-high dimension of existing HDC models by orders of magnitude (e.g., 8000 vs. 4/64). We run experiments to evaluate our LDC classifier by considering different datasets for inference on tiny devices, and also implement different models on an FPGA platform for acceleration. The results highlight that our LDC classifier offers an overwhelming advantage over the existing brain-inspired HDC models and is particularly suitable for inference on tiny devices.

研究の動機と目的

• 微小デバイスでの推論において、超高次元性とヒューリスティックな学習というハイパーサイズコンピューティング（HDC）の根本的限界を解消する。
• リソース制約のあるエッジデバイス向けに、現在のHDCモデルが示す不十分な推論精度と過大なモデルサイズを克服する。
• 脳にインspiredされた認知機能を維持しつつ、効率的なハードウェア実装を可能にする低次元計算（LDC）フレームワークを開発する。
• ニューラルネットワークマッピングを用いて、ヒューリスティックなハイパーエンベッディング平均化に代わるエンドツーエンドの微分可能学習を可能にする。
• 最先端のHDCモデルと比較して、精度、モデルサイズ、遅延、エネルギー効率の面で優れた性能を達成する。

提案手法

• LDC分類器の推論プロセスを、非バイナリ部とバイナリニューラルネットワーク（BNN）から構成される同等のニューラルネットワークアーキテクチャにマッピングする。
• 損失関数に従って微分可能な学習プロセスによりモデル重みを最適化し、ヒューリスティックな平均化に代わる原理的学習を実現する。
• 訓練済みネットワークから最適化された低次元ベクトル（例：4/64ビット）を抽出し、高次元のハイパーエンベッディング（例：8000ビット以上）に代える。
• 類似度評価に正規化されたハミング距離を用い、双極ベクトルにおけるコサイン類似度と同等の性能を達成する。
• リソース制約が厳しい条件下で、FPGA上にLDCモデルを実装し、ハードウェア加速を実現する。
• 複数のLDC分類器における多数決を適用することで、モデルサイズを著しく増加させることなく、耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 脳にインspiredされた認知機能を維持しつつ、推論精度を向上させる低次元で微分可能なHDCの代替が設計可能か？
• RQ2 HDCモデルにおけるヒューリスティックなハイパーエンベッディング平均化と比較して、原理的で損失関数に基づく低次元ベクトルの学習は、どのように性能を向上させるか？
• RQ3 次元削減と最適化された学習を用いることで、HDCに類似したモデルのモデルサイズ、推論遅延、エネルギー消費量をどの程度まで削減できるか？
• RQ4 LDC分類器は、メモリや計算能力に制限のある微小デバイス上で、SOTAのHDCモデルを上回る精度を達成しながら、効率的に動作可能か？
• RQ5 実際のハードウェア制約下で、多様なデータセット（例：MNIST、cardiotocography）においてLDCフレームワークはどの程度の性能を示すか？

主な発見

• LDC分類器はMNISTで92.72%の精度を達成し、SOTAのHDCモデル（87.38%）を著しく上回った。
• LDCモデルはMNISTでわずか6.48 KBのコンパクトなサイズであり、SOTAのHDCモデルと比較して100倍以上モデルサイズを削減した。
• MNISTにおける推論遅延は3.99マイクロ秒、エネルギー消費量は64ナノジュールにまで低下し、両方ともSOTAのHDCモデルと比較して100倍以上低減された。
• cardiotocographyでは、LDC分類器が90.50%の精度を達成し、モデルサイズ0.32 KB、遅延0.14 μs、エネルギー0.945 nJを実現した。
• LDCフレームワークは、FPGA上でのハードウェア加速を可能にし、リソース使用量を最小限に抑えることができ、極めて小さなIoTデバイスへの適性が強く示された。
• 微分可能な学習プロセスの導入により、ヒューリスティック手法に比べて、より優れた特徴量およびクラスベクトル表現が得られ、耐障害性と精度が向上した。