[論文レビュー] Stochastic Configuration Machines for Industrial Artificial Intelligence

Dianhui Wang, Matthew J. Felicetti|arXiv (Cornell University)|Aug 25, 2023

Machine Learning and ELM被引用数 12

ひとこと要約

SCMsは、工業AI向けに設計された確率的配置ネットワークに基づくランダム化学習モデルで、競争力のある予測性能と理論的学習能力分析を備えつつ、メモリ効率の高い学習を可能にする。ベンチマークと産業データ評価、およびIAIタスクのモデル複雑性に関する議論を含む。

ABSTRACT

Real-time predictive modelling with desired accuracy is highly expected in industrial artificial intelligence (IAI), where neural networks play a key role. Neural networks in IAI require powerful, high-performance computing devices to operate a large number of floating point data. Based on stochastic configuration networks (SCNs), this paper proposes a new randomized learner model, termed stochastic configuration machines (SCMs), to stress effective modelling and data size saving that are useful and valuable for industrial applications. Compared to SCNs and random vector functional-link (RVFL) nets with binarized implementation, the model storage of SCMs can be significantly compressed while retaining favourable prediction performance. Besides the architecture of the SCM learner model and its learning algorithm, as an important part of this contribution, we also provide a theoretical basis on the learning capacity of SCMs by analysing the model's complexity. Experimental studies are carried out over some benchmark datasets and three industrial applications. The results demonstrate that SCM has great potential for dealing with industrial data analytics.

研究の動機と目的

• SCMを、工業AIタスクに特化したメモリ効率的なランダム化学習器として開発する。
• モデル複雑性分析を通じてSCMの学習容量の理論的根拠を提供する。
• ベンチマークデータセットと3つの産業アプリケーションでSCMの性能とメモリ削減を実証する。
• SCNおよびRVFL型ネットワークとSCMを比較し、精度と記憶容量のトレードオフを明らかにする。

提案手法

• SCMは、機構モデル P(X,p,u) と線形回帰 L(bar X) およびバイナリウェイトと実数値バイアスを持つ多層乱択ネットワーク H_k(X) を組み合わせる。
• SCM学習アルゴリズムには、監視機構、早期停止、およびモデル容量を制御する選択的入力特徴量が含まれる。
• モデル複雑性（MC）は、学習表現の豊かさと滑らかさを定量化するように定義され、1次の普遍近似性と結びつく。
• 回帰成分の学習には、ムーア・ペンローズの逆行列を用いた最小二乗法のリードアウトと、LASSOベースの線形ウェイト推定を使用する。
• SCMのウェイトは適応的なラムダでスケーリングされた2値量として格納され、メモリ圧縮を実現する。
• 学習手順には、候補ノード選択、信頼性基準の評価、およびネットワークの深さと広さのバランスを取る早期停止ルールが含まれる。

実験結果

リサーチクエスチョン

• RQ1 SCMはSCNおよびRVFLと同等の予測性能を達成しつつメモリ要件を削減できるか？
• RQ2 導入されたモデル複雑性の概念は、SCMの非線形関数近似能力とどのように関連するか？
• RQ3 SCMはメカニズム/認知モデルをDeepSCNフレームワークと効果的に統合して、産業データ分析を改善できるか？
• RQ4 SCMにおける早期停止が一般化と学習効率に与える影響は何か？

主な発見

• SCMはバイナリウェイト保存によるメモリ削減を示しつつ、有利な予測性能を維持する。
• 理論分析は、SCMがターゲット関数に対して1次の普遍近似を達成できる条件を提供する。
• ベンチマークデータセットと3つの産業データセットにおける実験結果は、SCMの産業データ分析への可能性を示している。
• SCMは機構モデル統合（シミュレーションやファジィシステムであり得る）を提供し、IAIタスクにおける認知的解釈可能性を高める。