[논문 리뷰] Learning Input and Recurrent Weight Matrices in Echo State Networks

Hamid Palangi, Li Deng외 1명|arXiv (Cornell University)|2013. 11. 13.

Neural Networks and Reservoir Computing참고 문헌 15인용 수 9

한 줄 요약

이 논문은 출력 단위의 선형성에 기반하여 에코 스테이트 네트워크(ESNs)에서 입력 행렬과 순환 행렬을 동시에 학습하는 새로운 방법을 제안한다. 이는 순환 백프로파게이션 대신 분석적 기울기 계산을 가능하게 하여 성능 향상을 이룬다. 이 방법은 특히 더 긴 시간 단계에서 전통적인 ESN보다 뛰어난 음소 상태 분류 정확도를 달성한다. 이는 입력 및 순환 행렬을 고정하는 전통적인 ESN의 한계를 극복한다.

ABSTRACT

Echo State Networks (ESNs) are a special type of the temporally deep network model, the Recurrent Neural Network (RNN), where the recurrent matrix is carefully designed and both the recurrent and input matrices are fixed. An ESN uses the linearity of the activation function of the output units to simplify the learning of the output matrix. In this paper, we devise a special technique that take advantage of this linearity in the output units of an ESN, to learn the input and recurrent matrices. This has not been done in earlier ESNs due to their well known difficulty in learning those matrices. Compared to the technique of BackPropagation Through Time (BPTT) in learning general RNNs, our proposed method exploits linearity of activation function in the output units to formulate the relationships amongst the various matrices in an RNN. These relationships results in the gradient of the cost function having an analytical form and being more accurate. This would enable us to compute the gradients instead of obtaining them by recursion as in BPTT. Experimental results on phone state classification show that learning one or both the input and recurrent matrices in an ESN yields superior results compared to traditional ESNs that do not learn these matrices, especially when longer time steps are used.

연구 동기 및 목표

• 전통적인 ESN이 성능 향상 잠재력이 있음에도 불구하고 입력 및 순환 가중치 행렬을 고정하는 한계를 극복하기 위해.
• ESN의 계산적 이점(예: 볼록 최적화 및 병렬 학습)을 유지하면서도 출력 행렬 외의 가중치 매트릭스까지 학습 가능한 학습 방법을 개발하기 위해.
• ESN의 출력 단위의 선형성에 기반하여 입력 및 순환 가중치에 대한 분석적 기울기를 유도함으로써 순환 백프로파게이션의 필요성을 피하기 위해.
• 이러한 매트릭스를 학습함으로써 순차적 모델링 작업에서 성능 향상, 특히 더 긴 시간적 의존성에서의 성능 향상을 입증하기 위해.

제안 방법

• ESN 출력 단위의 선형 활성화를 활용하여 입력, 순환, 출력 가중치 매트릭스 간의 제약 조건을 수립한다.
• 비용 함수에 대한 입력 및 순환 가중치의 기울기 표현을 분석적으로 유도함으로써 순환 근사 대신 정확한 기울기 계산이 가능하게 한다.
• 출력 가중치 학습에 릿지 회귀를 사용하고, 유도된 분석적 기울기를 활용해 입력 및 순환 매트릭스를 동시에 최적화하는 프레임워크로 확장한다.
• 학습 과정은 m개의 시간 단계에 걸친 시간적 의존성을 반영한 수정된 최적화 기법에 기반하며, m은 기울기 계산의 역사 범위를 제어한다.
• 비록 입력 및 순환 매트릭스를 고정하지 않더라도 ESN의 선형성과 볼록성 덕분에 BPTT의 기울기 소실/폭발 문제를 피할 수 있다.
• 모든 학습 가능한 매개변수에 대해 볼록 최적화를 사용하고 선형 출력층을 유지함으로써 ESN의 핵심 이점인 효율적이고 배치 기반 병렬 학습을 유지한다.

실험 결과

연구 질문

• RQ1 입력 및 순환 가중치 매트릭스를 학습함으로써 전통적인 ESN의 계산 단순성과 수렴 성질을 유지할 수 있는가?
• RQ2 입력 및 순환 가중치에 대한 분석적 기울기 계산이 표준 RNN에서 사용하는 순환 백프로파게이션보다 더 정확한 학습을 이끌 수 있는가?
• RQ3 더 긴 시간적 의존성(더 큰 m를 통해)을 통합할 경우 확장된 ESN의 성능에 어떤 영향을 미치는가?
• RQ4 입력 및 순환 매트릭스를 학습하는 것이 고정 매트릭스 ESN에 비해 순차적 작업(예: 음소 상태 인식)에서 분류 정확도 향상에 기여하는가?
• RQ5 더 큰 은닉층 크기와 더 복잡한 작업에 적용했을 때 제안된 방법이 확장 가능하고 효과적인가?

주요 결과

• 입력 및 순환 가중치 매트릭스를 모두 학습하는 ESN은 고정 매트릭스를 사용하는 전통적인 ESN에 비해 더 높은 프레임 단위의 음소 상태 분류 정확도를 달성한다.
• 30,000개의 은닉 유닛을 사용할 경우, m=3 시간 단계에서 제안된 방법은 43.0%의 오차율을 기록했고, 전통적인 ESN은 53.3%였다.
• m=3일 때 m=1보다 더 낮은 오차율을 기록함으로써 더 긴 시간적 맥락을 통합할수록 성능 향상이 이루어지는 것으로 나타났다.
• 100개의 은닉 유닛을 사용할 경우, 전통적인 ESN의 오차율 75.5%에서 제안된 방법은 입력 및 순환 매트릭스를 학습함으로써 63.2%로 감소시켰다.
• 모든 은닉 유닛 크기에서 성능 향상이 일관되게 관찰되었으며, 특히 높은 용량에서 가장 큰 향상이 이루어졌다.
• 결과적으로 ESN의 선형성과 볼록성을 유지하면서 학습 가능한 매개변수를 확장함으로써 순차적 작업에서 더 나은 일반화 및 정확도 향상이 가능하다는 것이 입증되었다.