[論文レビュー] Hyperdimensional Computing vs. Neural Networks: Comparing Architecture and Learning Process

Dongning Ma, Xun Jiao|arXiv (Cornell University)|Jul 24, 2022

Ferroelectric and Negative Capacitance Devices被引用数 5

ひとこと要約

本論文は、事前学習済みの2層ニューラルネットワークからハイパーサイディメンショナルコンピューティング（HDC）モデルを導出する新規手法を提案する。この手法により、得られたHDCモデルは、MNISTおよびCIFAR-10で、従来のHDCベースラインより最大21%高い精度、SOTAの学習ベースHDCモデルより5%高い精度を達成した。本手法はニューラルネットワークの重みをHDCのメモリ要素として活用し、HDCとニューラルネットワークアーキテクチャを統合することで、学習性能を向上させつつ、エネルギー効率を維持する。

ABSTRACT

Hyperdimensional Computing (HDC) has obtained abundant attention as an emerging non von Neumann computing paradigm. Inspired by the way human brain functions, HDC leverages high dimensional patterns to perform learning tasks. Compared to neural networks, HDC has shown advantages such as energy efficiency and smaller model size, but sub-par learning capabilities in sophisticated applications. Recently, researchers have observed when combined with neural network components, HDC can achieve better performance than conventional HDC models. This motivates us to explore the deeper insights behind theoretical foundations of HDC, particularly the connection and differences with neural networks. In this paper, we make a comparative study between HDC and neural network to provide a different angle where HDC can be derived from an extremely compact neural network trained upfront. Experimental results show such neural network-derived HDC model can achieve up to 21% and 5% accuracy increase from conventional and learning-based HDC models respectively. This paper aims to provide more insights and shed lights on future directions for researches on this popular emerging learning scheme.

研究の動機と目的

• ハイパーサイディメンショナルコンピューティング（HDC）とニューラルネットワークの間の理論的・実用的関係を調査すること。
• CIFAR-10における画像分類のような複雑なタスクにおいて、従来のHDCモデルの限界的な学習能力を是正すること。
• 事前学習済みニューラルネットワークからHDCモデルを導出可能かどうかを検討し、性能を向上させつつエネルギー効率と小規模なモデルサイズを維持すること。
• HDCをコンパクトなニューラルネットワークとして再解釈することで、最適化とスケーラビリティを向上させる新しい視点を提供すること。

提案手法

• MNISTおよびCIFAR-10データセットに対して、入力層および分類器層を有する2層の全結合ニューラルネットワークを訓練する。
• 入力層の重み（10000×768）をHDCのアイテムメモリとして抽出し、各列をハイパーサイディメンショナルベクトル（HV）として扱う。
• 分類器層の重み（10×10000）をアソシエイティブメモリとして抽出し、各行をクラスHVとして扱う。
• 抽出された重みをメモリ要素として使用することで、訓練済みニューラルネットワークをHDCモデルに変換し、同じ推論計算を保持する。
• 加算、乗算、並べ替えなどのHV操作を用いて符号化および推論を実行し、HDC推論段階ではバックプロパゲーションを一切使用しない。
• 標準的な勾配降下法を用いてニューラルネットワークを学習し、重みを凍結した後、HDCメモリ構造に変換する。

Figure 1: Architectural Comparison between HDC and neural network

実験結果

リサーチクエスチョン

• RQ1 HDCとニューラルネットワークの間のアーキテクチャ的および学習プロセス的類似性が、HDCの性能向上にどのように寄与するか？
• RQ2 事前学習済みニューラルネットワークを用いて、従来のHDCベースラインを上回る高性能なHDCモデルを生成可能か？
• RQ3 コンパクトなニューラルネットワークからHDCを導出することで、CIFAR-10のような複雑なデータセットにおける精度がどの程度向上するか？
• RQ4 ニューラルネットワークをHDCモデルに変換する際の、トレーニングコストと推論効率のトレードオフはいかなるものか？

主な発見

• 事前学習済みの2層ニューラルネットワークから導出されたHDCモデルは、MNISTで96.71%の精度を達成し、HDC-Baseベースライン（90.93%）より5.78%向上、SOTAのLeHDCモデル（94.74%）より2.03%向上した。
• より複雑なCIFAR-10データセットでは、導出されたHDCモデルが51.08%の精度に達し、HDC-Baseベースライン（30.28%）より20.8%向上、LeHDCモデル（46.10%）より5.0%向上した。
• 導出されたHDCモデルは、元のHDC-Baseと同一の推論計算コストを維持しており、追加のオーバーヘッドはすべて初期のニューラルネットワーク訓練フェーズに集中している。
• 下位のニューラルネットワークの訓練は効率的で、報告された精度に収束するまでに、たとえスクラッチから訓練した場合でも4〜7分で完了した。
• 結果から、HDCの学習能力は本質的に下位のニューラルネットワークのアーキテクチャに制限されていることが確認され、浅いモデルが複雑なタスクで困難を示す理由が説明された。
• 本研究は、HDCがホログラフィック表現を持つコンパクトなニューラルネットワークとして見なせることを示し、ニューラルネットワークにインspiredされた訓練によりHDCを最適化する新たな道筋を提示した。

Figure 2: Derive an HDC model from a trained neural network.