[論文レビュー] Stochastic Configuration Machines: FPGA Implementation

Matthew J. Felicetti, Dianhui Wang|arXiv (Cornell University)|Oct 30, 2023

Machine Learning and ELM被引用数 9

ひとこと要約

この論文はFPGA上で二値ウェイトを用いたSCMを実装し、二値入力エンコーディング方式を導入、複数データセットにおいてメモリと速度の利点を伴いほぼPCレベルの精度を示す。

ABSTRACT

Neural networks for industrial applications generally have additional constraints such as response speed, memory size and power usage. Randomized learners can address some of these issues. However, hardware solutions can provide better resource reduction whilst maintaining the model's performance. Stochastic configuration networks (SCNs) are a prime choice in industrial applications due to their merits and feasibility for data modelling. Stochastic Configuration Machines (SCMs) extend this to focus on reducing the memory constraints by limiting the randomized weights to a binary value with a scalar for each node and using a mechanism model to improve the learning performance and result interpretability. This paper aims to implement SCM models on a field programmable gate array (FPGA) and introduce binary-coded inputs to the algorithm. Results are reported for two benchmark and two industrial datasets, including SCM with single-layer and deep architectures.

研究の動機と目的

• 産業分野の速度、メモリ、電力制約の下でハードウェア効率の高いニューラルモデルの動機づけ。
• FPGA展開に適した二値ウェイトのSCMへ拡張。
• ハードウェア上でSCMの性能を高める二値入力エンコーディング方式の導入と評価。
• データセットを横断して精度を保ちつつメモリ削減と電力/速度の利得を示す。
• FPGA SCMの性能をFPGA SCNおよびPC実装と比較。

提案手法

• 機構モデルの概要と監督ノード選択を含むSCMの基礎をレビューおよび要約。
• ハードウェア制約に適した複数のエンコーディング方式で入力を二値化。
• XNORカウントと固定小数点演算による二値ドット積実装を用い、FPGA上でSCMを実装。
• 機構モデル評価、二値ウェイトを持つ隠れ層計算、出力ウェイト最適化の三部構成パイプラインを適用。
• 4データセットに対して単層および深層SCMアーキテクチャを評価し、FPGA SCMとPC SCMを比較してRMSEおよびリソース指標を報告。
• ノードごとのラムダ拡張値と二値ウェイトを格納することでメモリ削減を提示。

実験結果

リサーチクエスチョン

• RQ1 二値ウェイトを持つSCMは、さまざまなデータセットでPC実装と同等の精度を維持できるか。
• RQ2 二値入力エンコーディング方式はFPGA SCMの性能とメモリ使用量にどう影響するか。
• RQ3 深層SCMアーキテクチャは単層SCMと比較して精度とハードウェア効率にどのような影響を与えるか。
• RQ4 FPGA SCMの結果は速度、メモリ、電力使用の点でSCN実装とどのように比較されるか。
• RQ5 産業データセットの特徴の変動に対してFPGA SCMの性能を最適化するエンコーディングの選択は何か。

主な発見

データベース	FPGA SCM	PC SCM	差異	ノード	活性化
1	0.040152321	0.040147975	4.345E-06	60	ステップ
1	0.037941259	0.037937773	3.485E-06	60	符号
2	0.03433228	0.034332281	8.611E-10	60	ステップ
2	0.034577532	0.034577522	1.073E-08	60	符号
3	0.008188957	0.008206443	1.748E-05	20	ステップ
3	0.008155897	0.008145349	1.054E-05	20	符号

• FPGA SCMは試験された構成全体でPC SCMとほぼ同一の精度を達成（いくつかの設定でRMSEの差はマイクロ〜ppmレベル）。
• 二値入力エンコーディング方式はデータセット依存の利得をもたらし、エンコーディング方式の選択が表1の訓練/テストRMSEに影響。
• 深層SCMモデル（例: 40-40-40ノード構成）は高精度を維持し、RMSEはデータセットと活性化関数に応じて0.008〜0.034の範囲。
• XNORカウントベースのドット積と固定小数点演算により乗算子なしのハードウェア実装を実現し、リソース使用を削減。
• ノードごとのラムダ拡張値を格納し隠れウェイトを二値形式で表す（3ビットラムダエンコード）ことでメモリ削減を達成。
• FPGA SCMはFPGA SCNおよびPC SCMの性能に密接に一致し、速度と電力の利得を伴うハードウェア適合の精度を示す。