[논문 리뷰] Scenario optimization for optimal training of Echo State Networks

Luca Bugliari Armenio, Lorenzo Fagiano외 3명|arXiv (Cornell University)|2019. 12. 03.

Neural Networks and Reservoir Computing참고 문헌 20인용 수 4

한 줄 요약

이 논문은 기존의 무작위 매개변수 설정 방식을 대체하여 최적성 보장을 보장하는 체계적인 접근 방식을 사용하는 에코 스테이트 네트워크(ESN)의 시나리오 최적화 기반 학습 방법을 제안한다. ESN 학습을 유한 샘플 최적화 문제로 간주함으로써, RMSE 및 FIT와 같은 성능 지표에 대한 확률적 경계를 보장하며, 500개의 새로운 시나리오를 사용한 pH 중화 공정에 대한 실증적 검증을 통해 이론적 경계 이하의 위반률을 확인하였다.

ABSTRACT

Echo State Networks (ESNs) are widely-used Recurrent Neural Networks. They are dynamical systems including, in state-space form, a nonlinear state equation and a linear output transformation. The common procedure to train ESNs is to randomly select the parameters of the state equation, and then to estimate those of the output equation via a standard least squares problem. Such a procedure is repeated for different instances of the random parameters characterizing the state equation, until satisfactory results are achieved. However, this trial-and-error procedure is not systematic and does not provide any guarantee about the optimality of the identification results. To solve this problem, we propose to complement the identification procedure of ESNs by applying results in scenario optimization. The resulting training procedure is theoretically sound and allows one to link precisely the number of identification instances to a guaranteed optimality bound on relevant performance indexes, such as the Root Mean Square error and the FIT index of the estimated model evaluated over a validation data-set. The proposed procedure is finally applied to the simulated model of a pH neutralization process: the obtained results confirm the validity of the approach.

연구 동기 및 목표

• 기존의 에코 스테이트 네트워크(ESN) 학습 방식에서 상태 방정식 매개변수의 무작위 초기화에 의존함으로써 발생하는 최적성 보장의 부재를 해결하기 위해.
• 시나리오 최적화 이론을 기반으로 한 체계적이고 이론적으로 타당한 학습 절차를 개발하여, ESN의 성능 경계를 보장하기 위해.
• 학습 인스턴스의 수와 RMSE 및 FIT와 같은 핵심 성능 지표에 대한 정확한 확률적 보장을 연결하기 위해.
• 실세계 SISO 비선형 벤치마크인 pH 중화 공정을 대상으로 이론적 최적성 경계를 실증적으로 검증하기 위해.

제안 방법

• 무한한 가능한 무작위 상태 방정식 매개변수화에 대한 스칼라 최적화 문제로 ESN 학습 문제를 수립하기.
• 시나리오 최적화 이론을 적용하여 Nδ개의 샘플된 ESN 인스턴스를 사용하여 무한차원 문제를 유한하고 볼록 최적화 문제로 변환하기.
• 검증 데이터 기반으로 성능이 가장 우수한 ESN을 선택하며, 새로운 ESN이 이를 초월할 확률에 대한 보장된 상한선을 제공하기.
• 각 샘플된 ESN에 대해 최소 제곱법을 사용하여 출력층 가중치를 추정함으로써 계산 효율성을 확보하기.
• 샘플된 인스턴스 수 Nδ에 기반하여 RMSE 및 FIT 성능 지표에 대한 위반 확률 ε에 대한 이론적 경계를 유도하기.
• 500개의 새로운 ESN 인스턴스를 테스트하여 유도된 성능 임계값을 위반한 횟수를 세어 이론적 경계를 실증적으로 검증하기.

실험 결과

연구 질문

• RQ1 시나리오 최적화가 ESN 학습에 효과적으로 적용되어 히وري스틱한 무작위 매개변수 설정 방식을 이론적으로 보장된 방법으로 대체할 수 있는가?
• RQ2 샘플된 ESN 인스턴스 수(Nδ)와 도출된 RMSE 및 FIT 성능 지표에 대한 확률적 경계 사이의 관계는 어떠한가?
• RQ3 새로운 ESN 인스턴스를 테스트할 때 이론적 위반 경계(ε)가 실증 성능과 얼마나 보수적으로 일치하는가?
• RQ4 제안된 방법이 pH 중화 공정과 같은 실세계 비선형 동적 시스템에서 신뢰할 수 있는 성능 보장을 달성할 수 있는가?

주요 결과

• 제안된 시나리오 최적화 기반 ESN 학습 방법은 성능에 대해 이론적 보장을 달성하며, 선택된 ESN을 초월할 새로운 ESN이 존재할 확률이 ε=5% 이하로 제한된다.
• 500개의 새로운 ESN 인스턴스에 대한 실증 테스트에서 FIT 지표의 위반률은 0.6%, RMSE 지표의 위반률은 0.8%로 나타나 이론적 5% 경계 이하로 낮게 유지되었다.
• 200개 상태를 가진 ESN의 경우 최고 FIT 값은 89.15%였고 최악의 RMSE는 0.048였으며, 이론적 경계가 성능 한계를 성공적으로 포괄하였다.
• 출력 가중치 추정에 최소 제곱법을 유지함으로써 계산 효율성을 유지하면서도 엄격한 최적성 보장을 추가하였다.
• 유명한 SISO 비선형 벤치마크(pH 중화 공정)에서 성공적으로 검증되어 도출된 성능 경계의 신뢰성이 확인되었다.
• 결과적으로 필요한 학습 인스턴스 수(Nδ=645)가 충분히 작고, 최소한의 실증적 위반률을 기반으로 날카운 성능 보장을 달성하는 데에 유용하다는 것이 입증되었다.