[論文レビュー] SynergicLearning: Neural Network-Based Feature Extraction for Highly-Accurate Hyperdimensional Learning

Mahdi Nazemi, Amirhossein Esmaili+2 more|arXiv (Cornell University)|Jul 30, 2020

Ferroelectric and Negative Capacitance Devices参考文献 27被引用数 4

ひとこと要約

この論文では、特徴抽出にニューラルネットワーク（NN）を、分類にハイパーサブディメンショナル（HD）コンピューティング分類器を組み合わせたハイブリッド機械学習モデル、SynergicLearningを提案する。これにより、純粋なNNと同等の高精度が達成されるとともに、単独のHDモデルよりも高い耐障害性が得られ、オンチップ実装が効率的に行える。フレームワークは、最先端のHD実装と比較して1.60倍の高い電力効率と2.13倍の低遅延を達成しており、リアルタイムで段階的な学習が可能なコンパイラとパrameterizedハードウェアマッピングを備えている。

ABSTRACT

Machine learning models differ in terms of accuracy, computational/memory complexity, training time, and adaptability among other characteristics. For example, neural networks (NNs) are well-known for their high accuracy due to the quality of their automatic feature extraction while brain-inspired hyperdimensional (HD) learning models are famous for their quick training, computational efficiency, and adaptability. This work presents a hybrid, synergic machine learning model that excels at all the said characteristics and is suitable for incremental, on-line learning on a chip. The proposed model comprises an NN and a classifier. The NN acts as a feature extractor and is specifically trained to work well with the classifier that employs the HD computing framework. This work also presents a parameterized hardware implementation of the said feature extraction and classification components while introducing a compiler that maps any arbitrary NN and/or classifier to the aforementioned hardware. The proposed hybrid machine learning model has the same level of accuracy (i.e. $\pm$1%) as NNs while achieving at least 10% improvement in accuracy compared to HD learning models. Additionally, the end-to-end hardware realization of the hybrid model improves power efficiency by 1.60x compared to state-of-the-art, high-performance HD learning implementations while improving latency by 2.13x. These results have profound implications for the application of such synergic models in challenging cognitive tasks.

研究の動機と目的

• 高精度なニューラルネットワークとハイパーサブディメンショナル（HD）学習モデルの計算効率の間のギャップを埋めること。
• 段階的・オンライン学習に適した、エンドツーエンドのオンチップ実装が可能なハイブリッドモデルを実現すること。
• 任意のニューラルネットワークおよび分類器を、協調フレームワークにマッピング可能なコンパイラとパrameterizedハードウェアアーキテクチャを開発すること。

提案手法

• ハイパーサブディメンショナル（HD）コンピューティングフレームワークによる分類に最適化された特徴を生成するために、特別に訓練されたニューラルネットワーク（NN）を採用する。
• NNを特徴抽出器として機能させ、HD分類器が最終的な意思決定を実行するハイブリッドモデルを設計する。
• 効率的なオンチップ実行を可能にするために、特徴抽出およびHD分類の両コンponentのパrameterizedハードウェア設計を実装する。
• 任意のニューラルネットワークおよび／または分類器を、提案されたハードウェアに適合するモデルにマッピングするコンパイラを開発する。
• HDコンピューティングの本質的効率とハードウェアに最適化されたNN設計を活用することで、低消費電力および低遅延を実現する。
• リアルタイム推論に適した、単一でコンactかつスケーラブルなハードウェアアーキテクチャに、全パイプラインを統合する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークとハイパーサブディメンショナルコンピューティングを組み合わせたハイブリッドモデルは、純粋なニューラルネットワークの精度を達成すると同時に、HDモデルの効率性にも匹敵できるか？
• RQ2 協調設計は、単独のHD学習モデルと比較して、どれほど精度を向上させるか？
• RQ3 ハードウェアに最適化されたコンパイルとパrameterized実装によって、どの程度の電力効率および遅延低減が達成できるか？
• RQ4 提案されたコンパイラとハードウェアマッピングは、任意のニューラルネットワークおよび分類器を柔軟にデプロイ可能か？
• RQ5 リソース制限のある環境において、段階的・オンライン学習にどの程度効果的に対応できるか？

主な発見

• ハイブリッドモデルは、純粋なニューラルネットワークと同等の精度（±1%以内）を達成しており、well-trainedな特徴抽出器と組み合わせたHDベースの分類が性能を損なわないことを示している。
• 単独のハイパーサブディメンショナル学習モデルと比較して、少なくとも10%の精度向上を達成しており、協調的性能向上の兆候が示された。
• エンドツーエンドのハードウェア実装は、最先端の高性能HD学習実装と比較して1.60倍の高い電力効率を達成した。
• ハードウェア設計により、最良の既存のHD学習システムと比較して遅延が2.13倍低減された。
• 提案されたコンパイラとパrameterizedハードウェアにより、任意のニューラルネットワークおよび分類器をターゲットアーキテクチャに効率的にマッピング可能であり、リアルタイムおよびオンチップデプロイメントを支援する。
• 低計算量のフットプリントと高い適応性のおかげで、このフレームワークは段階的・オンライン学習アプリケーションに非常に適している。