[논문 리뷰] Stochastic Configuration Machines for Industrial Artificial Intelligence

Dianhui Wang, Matthew J. Felicetti|arXiv (Cornell University)|2023. 08. 25.

Machine Learning and ELM인용 수 12

한 줄 요약

SCMs는 산업 AI를 위해 설계된 확률 구성 네트워크 기반의 랜덤화 학습자 모델로, 메모리 효율적인 학습과 경쟁력 있는 예측 성능 및 이론적 학습 용량 분석을 가능하게 한다. 이 연구는 벤치마크 및 산업 데이터 평가와 IAI 작업에 대한 모델 복잡도 토론을 포함한다.

ABSTRACT

Real-time predictive modelling with desired accuracy is highly expected in industrial artificial intelligence (IAI), where neural networks play a key role. Neural networks in IAI require powerful, high-performance computing devices to operate a large number of floating point data. Based on stochastic configuration networks (SCNs), this paper proposes a new randomized learner model, termed stochastic configuration machines (SCMs), to stress effective modelling and data size saving that are useful and valuable for industrial applications. Compared to SCNs and random vector functional-link (RVFL) nets with binarized implementation, the model storage of SCMs can be significantly compressed while retaining favourable prediction performance. Besides the architecture of the SCM learner model and its learning algorithm, as an important part of this contribution, we also provide a theoretical basis on the learning capacity of SCMs by analysing the model's complexity. Experimental studies are carried out over some benchmark datasets and three industrial applications. The results demonstrate that SCM has great potential for dealing with industrial data analytics.

연구 동기 및 목표

• SCM을 산업 AI 작업에 맞춘 메모리 효율적인 랜덤화 학습자로 개발한다.
• 모델 복잡도 분석을 통한 SCM 학습 용량의 이론적 기초를 제시한다.
• 벤치마크 데이터 세트와 세 가지 산업 응용에서 SCM의 성능과 메모리 절감을 시연한다.
• 정확도와 저장 공간 간의 트레이드를 강조하기 위해 SCM과 SCN 및 RVFL-유형 네트워크를 비교한다.

제안 방법

• SCM은 기전(메커니즘) 모델 P(X,p,u)과 선형 회귀 L(bar X), 이진 가중치와 실수 편향을 갖는 다층 랜덤화 네트워크 H_k(X)를 결합한다.
• SCM 학습 알고리즘은 감독 메커니즘, 조기 종료, 및 모델 용량을 제어하기 위한 선택적 입력 특징을 포함한다.
• 모델 복잡도(MC)는 학습 표현의 풍부함과 매끄러움을 정량화하기 위해 정의되며, 일계 보편 근사 속성과 연결된다.
• 회귀 구성요소에 대해 Moore-Penrose 역수와 LASSO 기반 선형 가중치 추정이 적용된 최소제곱 읽출법으로 학습한다.
• SCM의 가중치는 적응적 lambda로 스케일된 이진 크기로 저장되어 메모리 압축을 가능하게 한다.
• 학습 절차는 후보 노드 선택, 신뢰성 기준 평가, 네트워크의 깊이와 폭의 균형을 맞추기 위한 조기 종료 규칙을 포함한다.

실험 결과

연구 질문

• RQ1 SCM이 SCN 및 RVFL과 유사한 예측 성능을 달성하면서 메모리 요구를 줄일 수 있는가?
• RQ2 도입된 모델 복잡도 개념이 SCM의 비선형 함수 근사 능력과 어떤 관련이 있는가?
• RQ3 SCM이 메커니즘/인지 모델을 DeepSCN 프레임워크와 효과적으로 통합하여 산업 데이터 분석을 개선할 수 있는가?
• RQ4 SCM에서 조기 종료가 일반화 및 학습 효율성에 미치는 영향은 무엇인가?

주요 결과

• SCM은 이진 가중치 저장을 통해 메모리 절감을 보이고 우수한 예측 성능을 유지한다.
• 이론적 분석은 SCM이 목표 함수에 대해 일계 보편 근사를 달성할 수 있는 조건을 제공한다.
• 벤치마크 데이터 세트 및 세 가지 산업 데이터 세트에 대한 실험 결과는 산업 데이터 분석에 대한 SCM의 가능성을 보여준다.
• SCM은 인지 해석 가능성을 향상시키기 위해 메커니즘 모델 통합(시뮬레이션 또는 퍼지 시스템일 수 있음)을 제공한다.