[논문 리뷰] Deep-ESN: A Multiple Projection-encoding Hierarchical Reservoir Computing Framework

Qianli Ma, Lifeng Shen외 1명|arXiv (Cornell University)|2017. 11. 13.

Neural Networks and Reservoir Computing참고 문헌 34인용 수 33

한 줄 요약

이 논문은 시간 시리즈의 다중 척도 역학을 포착하기 위해 다중 투영 인코딩 층을 사용하는 계층적 리저보아 계산 프레임워크인 Deep-ESN을 제안한다. 표준 ESN과 이전의 계층 모델보다 성능이 향상되며, 특히 혼돈된 동역학과 복잡한 시간적 구조를 가진 실세계 시간 시리즈에서 뛰어난 성능을 보인다. 이는 비지도 인코더(예: PCA, 오토인코더, 무작위 투영)를 사용해 리저보아를 번갈아 적용함으로써 상관관계를 감소시키기 때문이다.

ABSTRACT

As an efficient recurrent neural network (RNN) model, reservoir computing (RC) models, such as Echo State Networks, have attracted widespread attention in the last decade. However, while they have had great success with time series data [1], [2], many time series have a multiscale structure, which a single-hidden-layer RC model may have difficulty capturing. In this paper, we propose a novel hierarchical reservoir computing framework we call Deep Echo State Networks (Deep-ESNs). The most distinctive feature of a Deep-ESN is its ability to deal with time series through hierarchical projections. Specifically, when an input time series is projected into the high-dimensional echo-state space of a reservoir, a subsequent encoding layer (e.g., a PCA, autoencoder, or a random projection) can project the echo-state representations into a lower-dimensional space. These low-dimensional representations can then be processed by another ESN. By using projection layers and encoding layers alternately in the hierarchical framework, a Deep-ESN can not only attenuate the effects of the collinearity problem in ESNs, but also fully take advantage of the temporal kernel property of ESNs to explore multiscale dynamics of time series. To fuse the multiscale representations obtained by each reservoir, we add connections from each encoding layer to the last output layer. Theoretical analyses prove that stability of a Deep-ESN is guaranteed by the echo state property (ESP), and the time complexity is equivalent to a conventional ESN. Experimental results on some artificial and real world time series demonstrate that Deep-ESNs can capture multiscale dynamics, and outperform both standard ESNs and previous hierarchical ESN-based models.

연구 동기 및 목표

• 실세계 시간 시리즈에서 흔히 나타나는 다중 척도 시간 역학을 포착하는 데에 한계가 있는 단일 층 에코 스테이트 네트워크(ESNs)의 문제를 해결한다.
• 중복된 리저보아 표현으로 인해 성능이 저하되는 깊이 있는 ESN에서의 상관관계 문제를 해결한다.
• ESN의 학습 단순성은 유지하면서도 깊이 있는 다중 척도 특징 학습이 가능한 안정적이고 계산적으로 효율적인 계층적 프레임워크를 설계한다.
• 각 인코딩 층에서의 다중 척도 표현을 최종 출력 층에 통합하기 위해 스킵 연결을 도입한다.
• 비지도 인코더가 깊이 있는 리저보아 아키텍처에서 표현의 중복을 통제하고 일반화 능력을 향상시키는 데 필수적임을 입증한다.

제안 방법

• 입력 시간 시리즈가 리저보아 층을 통해 고차원의 에코 스테이트 공간으로 투영되는 계층적 리저보아 프레임워크를 구축한다.
• 각 리저보아 층 이후에 비지도 인코딩 층(PCA, 오토인코더, 또는 무작위 투영)을 적용하여 고차원 상태를 저차원의 상관관계가 없는 표현으로 투영한다.
• 인코딩된 표현을 후속 리저보아 층에 공급하여 다양한 시간 척도의 특징을 처리한다.
• 다중 척도 정보를 융합하고 예측 성능을 향상시키기 위해 각 인코딩 층에서 최종 출력 층으로 스킵 연결을 도입한다.
• 에코 스테이트 성질(ESP)이 계층적 구조를 통해 유지됨을 증명함으로써 안정성을 확보하며, 표준 ESN과 동일한 시간 복잡도를 유지한다.
• 출력 가중치 학습에 선형 회귀를 사용하여 깊이 있는 아키텍처임에도 불구하고 전통적인 ESN의 계산 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 표준 ESN이 모델링하지 못하는 시간 시리즈의 다중 척도 역학을 계층적 리저보아 계산 프레임워크가 효과적으로 포착할 수 있는가?
• RQ2 다양한 인코딩 기법(PCA, 오토인코더, 무작위 투영)이 깊이 있는 ESN에서 표현 품질과 상관관계에 어떤 영향을 미치는가?
• RQ3 제안된 Deep-ESN 프레임워크는 표준 ESN의 에코 스테이트 성질과 계산 효율성을 유지하면서도 더 깊고 표현력 있는 아키텍처를 가능하게 하는가?
• RQ4 네트워크의 깊이와 구조가 다양한 다중 척도 복잡도를 가진 시간 시리즈에서 성능에 미치는 영향은 어떠한가?
• RQ5 중간 인코딩 층에서의 스킵 연결이 최종 리저보아 층에만 의존하는 경우에 비해 예측 정확도를 얼마나 향상시키는가?

주요 결과

• Deep-ESN은 표준 ESN과 이전의 계층 ESN 모델(MESM 등)보다 인공 혼돈 시간 시리즈(Mackey-Glass, NARMA)와 실세계 데이터셋(Sunspots, Temperature) 모두에서 뛰어난 성능을 보였다.
• PCA를 인코더로 사용할 경우 리저보아 표현의 조건수를 크게 감소시켜 직접 리저보아 스택킹에 비해 상관관계 억제 효과가 뛰어나다는 것을 시사한다.
• 무작위 투영 인코더는 때로 더 깊은 층에서 표현 간 거리를 증가시켜 잡음 증폭 가능성을 보이며, 이는 인코더 선택의 중요성을 강조한다.
• 모델는 외란에 대해 장기 기억을 유지하며, 최종 층에서 가장 지속적인 반응을 보여, 효과적인 시간적 정보 유지 능력을 입증한다.
• 적절히 구성된 깊이 있는 아키텍처일 경우 성능 향상이 가능하지만, 과도한 깊이에서는 성능 저하가 발생할 수 있으므로 교차 검증을 통한 하이퍼파rameter 튜닝이 필수적임을 시사한다.
• 모델의 성능는 입력의 다중 척도 구조에 크게 의존한다: 막싱글라스와 같이 다중 척도성이 높은 데이터에는 깊이 있는 네트워크가 더 효과적이며, 실세계의 단순한 시리즈(Sunspots, Temperature)는 얕은 네트워크로도 충분히 성능을 낼 수 있다.