[論文レビュー] Generalized Learning Vector Quantization for Classification in Randomized Neural Networks and Hyperdimensional Computing

Cameron Diao, Denis Kleyko+2 more|arXiv (Cornell University)|Jun 17, 2021

Ferroelectric and Negative Capacitance Devices参考文献 67被引用数 21

ひとこと要約

本稿では、リソース制約のあるエッジデバイス向けに、ランダムベクタ関数リンク（RVFL）ネットワークにおける最小二乗法分類器を一般化学習ベクタ量子化（GLVQ）に置き換えることで、計算コストを低減しながら分類精度を維持または向上させる手法を提案する。1クラスあたり1つのプロトタイプを用いたGLVQベースのRVFLモデルは、10回の学習イテレーション制限下でも、最小二乗法の計算コストの21％にとどまりながら、UCIデータセットで最先端の精度を達成する。

ABSTRACT

Machine learning algorithms deployed on edge devices must meet certain resource constraints and efficiency requirements. Random Vector Functional Link (RVFL) networks are favored for such applications due to their simple design and training efficiency. We propose a modified RVFL network that avoids computationally expensive matrix operations during training, thus expanding the network's range of potential applications. Our modification replaces the least-squares classifier with the Generalized Learning Vector Quantization (GLVQ) classifier, which only employs simple vector and distance calculations. The GLVQ classifier can also be considered an improvement upon certain classification algorithms popularly used in the area of Hyperdimensional Computing. The proposed approach achieved state-of-the-art accuracy on a collection of datasets from the UCI Machine Learning Repository - higher than previously proposed RVFL networks. We further demonstrate that our approach still achieves high accuracy while severely limited in training iterations (using on average only 21% of the least-squares classifier computational costs).

研究の動機と目的

• リソース制約のあるエッジデバイスにおけるRVFLネットワークの最小二乗法学習における行列逆行列計算の高コスト問題を解決すること。
• 1クラスあたり複数のプロトタイプを用いることで、GLVQの内挿変動性モデル化能力を活用し、RVFLネットワークの分類精度を向上させること。
• 行列演算を単純なベクトルおよび距離計算に置き換えることで、専用ハードウェアにおける効率的な学習を可能にすること。
• 厳密なイテレーション制限下でも、複数のプロトタイプを用いるGLVQが最小二乗法を上回る精度を示すことを実証すること。
• ランダム化ニューラルネットワークおよびハイパーディメンショナルコンピューティング（HDC）における効率的で正確な分類のための新たなベースラインを確立すること。

提案手法

• RVFLネットワークの正則化最小二乗法（RLS）出力層重み最適化を、一般化学習ベクタ量子化（GLVQ）に置き換えて出力層を学習する。
• 行列逆行列を避けるために、クラスプロトタイプと距離計算に基づくGLVQの反復的更新ルールを採用する。
• 計算コストを最小限に抑えるために、1クラスあたり1つのプロトタイプを用いたGLVQを適用するが、同時に精度を維持する。
• クラス内変動性をモデル化し一般化性能を向上させるために、1クラスあたり複数のプロトタイプを許容するGLVQの拡張を実施する。
• ハイパーディメンショナルコンピューティング（HDC）の原則に従い、整数のみの活性化関数を用いたintRVFLネットワークを訓練する。
• グリッドサーチを用いて、プロトタイプ数、学習率、およびカーネル帯域幅（KGLVQ比較用）などのハイパーパrameterを最適化する。

実験結果

リサーチクエスチョン

• RQ1 計算コスト制約下でも、GLVQが最小二乗法を置き換えても分類精度を損なわないか？
• RQ2 GLVQで1クラスあたり複数のプロトタイプを用いることで、単一プロトタイプのGLVQおよび最小二乗法を上回る分類精度が得られるか？
• RQ3 学習イテレーションが著しく制限された状況下で、GLVQの計算コストは最小二乗法と比べてどの程度か？
• RQ4 GLVQベースのRVFLネットワークは、ハイパーディメンショナルコンピューティングにおける標準的なセンタロイドベース分類を上回る精度を達成できるか？
• RQ5 UCIデータセット上での精度と効率性の観点から、提案されたGLVQベースのRVFLモデルは、カーネル化GLVQ（KGLVQ）を上回るか？

主な発見

• GLVQベースのRVFLモデルは、UCIデータセット集計で平均交差検証精度0.81を達成し、最小二乗法分類器の平均0.76を上回った。
• 10回の学習イテレーション制限下でも、GLVQ分類器は平均0.80の精度を達成したが、最小二乗法の平均計算コストの21％にとどまり、同程度の精度を維持した。
• 1クラスあたり複数のプロトタイプを許容した場合、GLVQベースのアプローチは平均0.82の精度を達成し、最小二乗法（0.80）を統計的に有意（p < 0.05）に上回った。
• GLVQと最小二乗法の性能の間のピアソン相関係数は0.87であり、GLVQによる一貫した性能向上を示している。
• KGLVQの高いメモリおよび計算コストを考慮しても、提案手法のGLVQベースのアプローチは一部のデータセットでKGLVQ（平均0.79）を上回り、平均0.82の精度を達成した。
• 1クラスあたり1つのプロトタイプを用いたGLVQ分類器は、最小二乗法と同等の精度を維持しながら、平均で79％の計算コスト削減を達成し、効率-精度トレードオフの柔軟性が顕著に示された。