[論文レビュー] Hypervector Design for Efficient Hyperdimensional Computing on Edge Devices

Toygun Başaklar, Yiğit Tuncel+3 more|arXiv (Cornell University)|Mar 8, 2021

Ferroelectric and Negative Capacitance Devices参考文献 30被引用数 11

ひとこと要約

本稿では、ハイパーエンベッディングの次元を32倍以上低減しつつ、精度と耐障害性を維持または向上させる、ハイパーサイクルコンピューティング（HDC）のためのマルチオブジェクティブ最適化フレームワークを提案する。ハイパーエンベッディング設計を最適化問題として定式化し、非一様量子化を用いることで、エッジデバイス上でのモデルサイズ、推論時間、エネルギー消費量を10倍以上削減した。4つの健康モニタリングアプリケーションで妥当性が確認された結果が得られた。

ABSTRACT

Hyperdimensional computing (HDC) has emerged as a new light-weight learning algorithm with smaller computation and energy requirements compared to conventional techniques. In HDC, data points are represented by high-dimensional vectors (hypervectors), which are mapped to high-dimensional space (hyperspace). Typically, a large hypervector dimension ($\\geq1000$) is required to achieve accuracies comparable to conventional alternatives. However, unnecessarily large hypervectors increase hardware and energy costs, which can undermine their benefits. This paper presents a technique to minimize the hypervector dimension while maintaining the accuracy and improving the robustness of the classifier. To this end, we formulate the hypervector design as a multi-objective optimization problem for the first time in the literature. The proposed approach decreases the hypervector dimension by more than $32\ imes$ while maintaining or increasing the accuracy achieved by conventional HDC. Experiments on a commercial hardware platform show that the proposed approach achieves more than one order of magnitude reduction in model size, inference time, and energy consumption. We also demonstrate the trade-off between accuracy and robustness to noise and provide Pareto front solutions as a design parameter in our hypervector design.

研究の動機と目的

• 従来のHDCは、妥当な精度を得るためには大きなハイパーエンベッディング次元（≥1000）に依存するが、そのために計算コストとエネルギー消費量が高くなる問題に対処する。
• エッジデバイス応用において、分類精度やノイズ耐性を損なわずにハイパーエンベッディング次元を低減する。
• 精度、耐障害性、リソース効率のバランスを最適化するため、ハイパーエンベッディング設計をマルチオブジェクティブ最適化問題として定式化する。
• 低消費電力のウェアラブルIoTデバイスに実用的なHDCのデプロイを可能にする。
• 特定のエッジデバイス用途に適したハードウェアに配慮したモデル設計を支援するため、精度と耐障害性のトレードオフをガイドするパレート最適解を提供する。

提案手法

• ハイパーエンベッディング設計を、次元を最小化すると同時に精度と耐障害性を最大化するマルチオブジェクティブ最適化問題として定式化する。
• ランダムに生成されたハイパーエンベッディングの分布を精緻化するための非一様量子化戦略を導入し、直交性とノイズ耐性を向上させる。
• ハイパーエンベッディング分布の幾何的モデリングを用いて最適化プロセスを支援し、クラスエンコーダー間の分離を強化する。
• 分類にはコサイン類似度またはハミング距離を用い、バイナリ演算の単純さを活かして効率的なハードウェアマッピングを実現する。
• 重み付き精度（wAcc）と平均類似度（1-avgSim）のトレードオフを調査するため、パレートフロントの解を生成する。
• 最適化されたHDCモデルを、低周波のA7コア上でC言語を用いて商業用エッジプラットフォーム（Odroid XU3）に実装・評価する。

実験結果

リサーチクエスチョン

• RQ1 HDCにおけるハイパーエンベッディング次元を、分類精度を劣化させることなく著しく低減できるか？
• RQ2 提案手法は、従来のランダムマッピングと比較して、ノイズ耐性をどのように向上させるか？
• RQ3 低次元HDCにおける精度と耐障害性のトレードオフは何か。また、そのトレードオフは体系的に調査可能か？
• RQ4 最適化されたハイパーエンベッディング設計により、HDCにおけるモデルサイズ、推論時間、エネルギー消費量はどの程度削減可能か？
• RQ5 提案手法は、ベースラインHDC性能を維持または上回りつつ、効率指標を10倍以上改善できるか？

主な発見

• PD Challengeデータセットでは、ハイパーエンベッディング次元を2048から32（64倍の低減）にまで削減し、モデルサイズを7.5 MBから120.9 kB（62倍の低減）にまで削減した。
• HARデータセットでは、推論時間を最大328倍（128 msから0.39 msに）短縮し、エネルギー消費量も最大1.51倍まで削減した。
• 評価された4つの健康アプリケーションすべてにおいて、モデルサイズ、推論時間、エネルギー消費量が10倍以上削減された。
• ノイズ耐性は、1-avgSim指標でベースラインHDCと比較して2倍以上向上した。
• パレートフロント解析により、精度（wAcc）と耐障害性（1-avgSim）の明確なトレードオフが明らかになった。これにより、特定のエッジデプロイシナリオに適した設計選択が可能になった。
• Odroid XU3におけるハードウェア評価により、最適化されたHDCモデルは、ベースライン精度を維持または上回りながら、リソース使用量を著しく削減した。200 MHzの低消費電力コアでも同様の結果が得られた。