[논문 리뷰] Recurrent Stochastic Configuration Networks for Temporal Data Analytics

Dianhui Wang, Gang Dang|arXiv (Cornell University)|2024. 06. 21.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 동적 시스템의 차수에 대한 사전 지식이 필요 없이 시간적 데이터 분석을 위한 새로운 무작위화된 순환 신경망인 순환 스토하스틱 구성 네트워크(RSCNs)를 제안한다. 감독 메커니즘을 통해 무작위 가중치를 할당하고 특수한 피드백 행렬 구조를 도입함으로써 RSCNs는 에코 상태 성질과 보편적 근사 능력을 보장하며, 투영 알고리즘을 통한 온라인 출력 가중치 갱신은 수렴성과 강건성을 보장한다. 산업용 시계열 예측 및 시스템 식별 과제에서 RSCNs는 학습 정확도, 일반화 능력, 계산 효율성 측면에서 LSTM, ESN 및 최신 ESN 변종보다 뛰어난 성능을 발휘한다.

ABSTRACT

Temporal data modelling techniques with neural networks are useful in many domain applications, including time-series forecasting and control engineering. This paper aims at developing a recurrent version of stochastic configuration networks (RSCNs) for problem solving, where we have no underlying assumption on the dynamic orders of the input variables. Given a collection of historical data, we first build an initial RSCN model in the light of a supervisory mechanism, followed by an online update of the output weights by using a projection algorithm. Some theoretical results are established, including the echo state property, the universal approximation property of RSCNs for both the offline and online learnings, and the convergence of the output weights. The proposed RSCN model is remarkably distinguished from the well-known echo state networks (ESNs) in terms of the way of assigning the input random weight matrix and a special structure of the random feedback matrix. A comprehensive comparison study among the long short-term memory (LSTM) network, the original ESN, and several state-of-the-art ESN methods such as the simple cycle reservoir (SCR), the polynomial ESN (PESN), the leaky-integrator ESN (LIESN) and RSCN is carried out. Numerical results clearly indicate that the proposed RSCN performs favourably over all of the datasets.

연구 동기 및 목표

• 산업 공정에서 동적 차수가 알려지지 않았거나 불확실한 비선형 시스템을 모델링하는 데 도전하는 것.
• 실시간 응용에 시간이 많이 소요되고 비현실적인 입력 변수의 순서 식별이 필요 없도록 제거하는 것.
• 에코 상태 성질을 유지하면서 동시에 매개변수 초기화 및 구조 설계를 향상시키는 순환 신경망 프레임워크를 개발하는 것.
• 오프라인 및 온라인 학습 환경 모두에서 출력 가중치의 보편적 근사 및 수렴성을 보장하는 것.
• 효율적인 실세계 구현을 위해 압축된 저장소 구조를 유지하면서도 높은 일반화 및 학습 성능을 달성하는 것.

제안 방법

• RSCN 모델은 입력 및 피드백 가중치를 감독 메커니즘을 통해 할당함으로써 안정성과 표현력을 확보하는 순환 스토하스틱 구성(RSC) 알고리즘을 사용해 초기화된다.
• 특수한 구조가 랜덤 피드백 행렬에 도입되어 네트워크의 시간적 동적 특성을 더 잘 포착하고 에코 상태 성질을 지원하도록 한다.
• 투영 기반 알고리즘을 사용해 출력 가중치를 온라인으로 갱신함으로써 수렴성과 동적 시스템 변화에 대한 적응성을 보장한다.
• 모델은 오프라인 훈련과 온라인 적응을 결합하여 두 학습 모드 모두에서 보편적 근사를 가능하게 한다.
• 이론적 분석을 통해 제안된 프레임워크 하에서 에코 상태 성질, 보편적 근사, 출력 가중치의 수렴성을 입증한다.
• 데이터에 따라 결정되는 감독 메커니즘을 통해 저장소 크기를 적응적으로 결정함으로써 수동 조정에 대한 의존도를 감소시킨다.

실험 결과

연구 질문

• RQ1 입력 변수의 순서를 명시적으로 선택할 필요 없이 동적 차수를 알 수 없는 비선형 시스템을 모델링할 수 있는 순환 신경망을 설계할 수 있는가?
• RQ2 제안된 RSCN 프레임워크는 표준 ESN보다 일반화 및 수렴성 향상과 함께 에코 상태 성질을 유지하는가?
• RQ3 투영 알고리즘을 통한 온라인 출력 가중치 갱신이 동적 환경에서 안정적이고 수렴하는 학습을 보장할 수 있는가?
• RQ4 정확도, 일반화 능력, 계산 효율성 측면에서 RSCN은 LSTM 및 최신 ESN 변종보다 어떻게 성능을 발휘하는가?
• RQ5 저장소 크기와 구조가 실산업 응용에서 RSCN의 성능과 강건성에 미치는 영향은 무엇인가?

주요 결과

• RSCN은 두 산업 사례 모두에서 모든 모델 중 가장 낮은 테스트 NRMSE를 기록했으며, Case 2에서는 0.51078±0.03685, Case 1에서는 0.06793±0.00411를 기록하여 LSTM, ESN, SCR, PESN, LIESN을 모두 압도했다.
• RSCN은 ESN(103 및 213)에 비해 훨씬 작은 저장소 크기—Case 2에서는 65개 노드, Case 1에서는 87개 노드—를 사용하여 높은 계산 효율성을 보였다.
• 투영 알고리즘을 통한 출력 가중치 갱신 과정은 명확한 수렴성을 보였으며, 오차가 시간이 지남에 따라 감소하여 실시간 응용에서 모델 안정성을 확보했다.
• RSCN의 최적 저장소 크기는 Case 1에서 60, Case 2에서 70이었으며, 모든 크기에서 다른 모델보다 일관되게 낮은 테스트 NRMSE를 기록했다.
• 그림 12 및 13의 예측 곡선은 RSCN이 목표 출력을 밀접하게 따라가며, 추적 정확도에서 LSTM 및 모든 ESN 변종을 뛰어넘었다.
• RSCN 프레임워크는 압축된 아키텍처를 유지하면서도 뛰어난 일반화 및 학습 성능를 달성하여 산업용 시간적 데이터 분석에 효과적임을 입증했다.