[논문 리뷰] Effect of shapes of activation functions on predictability in the echo state network

Hanten Chang, Shinji Nakaoka외 1명|arXiv (Cornell University)|2019. 05. 22.

Neural Networks and Reservoir Computing참고 문헌 4인용 수 5

한 줄 요약

이 연구는 활성화 함수의 형태가 음성 상태 네트워크(ESNs)의 예측 성능에 미치는 영향을 조사하며, 비단조화적이고 높은 비선형성을 띤 함수들인 sinc 및 멕시칸 히트 함수가 시계열 예측 과제에서 전통적인 시그모이드 및 tanh 함수보다 성능이 뛰어나다는 것을 발견한다. 향상된 성능는 특정 비선형 형태로 인해 증가한 상태 다양성과 기억 용량으로 기인한다.

ABSTRACT

We investigate prediction accuracy for time series of Echo state networks with respect to several kinds of activation functions. As a result, we found that some kinds of activation functions with an appropriate nonlinearity show high performance compared to the conventional sigmoid function.

연구 동기 및 목표

• 음성 상태 네트워크(ESNs)에서 활성화 함수 형태가 예측 정확도에 미치는 영향을 조사하는 것.
• 비단조화적이고 짝수 형태의 활성화 함수(예: sinc, 멕시칸 히트)를 전통적인 단조함수인 tanh 및 시그모이드와 비교 평가하는 것.
• 특정 비선형 형태가 ESN의 상태 다양성과 기억 용량을 향상시키는지 확인하는 것.
• 혼돈 시스템과 NARMA 과정을 포함한 다양한 시계열 모델에서 성능를 평가하는 것.
• 점 예측을 넘어서 학습된 역학을 검증하기 위해 애트랙터 재구성 품질을 분석하는 것.

제안 방법

• 출력 가중치 Wout는 정규화 파rameter λ = 10⁻⁸를 사용한 릿지 회귀를 통해 추정한다.
• 네트워크 상태 X(t)는 X(t) = f(Win[1;U(t)] + WX(t-1)) 방식으로 변화하며, 여기서 f는 요소별로 적용되는 활성화 함수이다.
• 입력 신호 U(t)는 N(0, σ²)에서 추출된 무작위 가중치 행렬 Win과 W를 사용하여 저장소에 입력되며, W의 스펙트럼 반경은 0.95로 조정된다.
• sinc, 멕시칸 히트, tanh, 선형 등 10종의 활성화 함수가 다양한 시계열 과제에서 평가된다.
• 예측 정확도는 로그 정규화 평균 제곱 오차(logNMSE)로 측정되며, 역학적 유사성 평가를 위해 지연 좌표를 통한 애트랙터 재구성과 워샤프트 메트릭이 사용된다.
• 자유 주행 예측 과제를 수행하여 장기 기억력과 역학의 정확성을 테스트하며, 예측된 애트랙터와 목표 애트랙터를 비교한다.

실험 결과

연구 질문

• RQ1 활성화 함수의 형태는 시계열 예측을 위한 ESN의 예측 정확도에 어떻게 영향을 미치는가?
• RQ2 sinc 및 멕시칸 히트와 같은 비단조화적 또는 짝수 형태의 활성화 함수는 표준 시그모이드 또는 tanh 함수보다 ESN 성능을 향상시키는가?
• RQ3 특정 비선형 형태가 ESN의 저장소 상태 다양성과 기억 용량을 어느 정도 향상시키는가?
• RQ4 비전통적인 활성화 함수를 사용하는 ESN은 혼돈 시계열의 기저 애트랙터 역학을 더 정확하게 재구성할 수 있는가?
• RQ5 다양한 활성화 함수를 갖는 ESN의 성능는 정상 예측과 자유 주행 예측 과제 간에 어떻게 다름이 있는가?

주요 결과

• sinc 및 멕시칸 히트 활성화 함수는 로지스틱 맵, 맥케이 글라스, NARMA10/20를 포함한 모든 테스트 시계열에서 정상 예측 과제에서 다른 함수들보다 일관되게 뛰어난 성능를 보였다.
• 맥케이 글라스 방정식에서, 짝수 함수(랩라스를 제외하고)는 홀수 함수보다 우수한 성능를 보였으며, 이는 형태에 기반한 역학적 행동의 존재를 시사한다.
• 자유 주행 예측에서, sinc 함수는 tanh보다 장기 정확도를 더 잘 유지했지만, 초기 조건에 민감하여 정상 예측에 비해 절대 성능는 낮았다.
• 지연 좌표를 통한 애트랙터 재구성 결과, sinc 및 tanh 함수를 사용한 예측 시계열은 워샤프트 메트릭으로 측정했을 때 랜덤 서로보와 비교해 목표 애트랙터에 훨씬 더 가까운 애트랙터를 생성했다.
• sinc 및 멕시칸 히트 함수의 향상된 성능는 중간 수준의 비선형성과 매끄러움으로 인해 증가한 상태 다양성과 기억 용량으로 기인한다.
• 결과는 비단조화적이고 높은 비선형성을 띤 활성화 함수 형태가 ESN의 예측 정확도와 역학의 정확성 향상에 기여할 수 있음을 시사한다.